Blender Fusion框架：实现按键生图的创新图像合成技术

Blender Fusion框架引领图像合成新变革

在当今AI视觉合成领域竞争激烈的环境下，谢赛宁团队推出的BlenderFusion框架带来了新的突破。该框架通过拖动方向键或鼠标拖动滑块，就能实现画面里物体的左右移动、旋转角度和缩放大小等操作，告别了仅依赖文本提示进行视觉合成的传统方式。

高效Pipeline流程实现图像合成

BlenderFusion框架“按键生图”的核心在于对现有技术的高效组合，构建了一套全新的Pipeline流程。第一步是物体分层，利用强大的视觉基础模型，如SegmentAnything Model（SAM）和DepthPro模型，将输入图像或视频中的物体从场景分离，并推断其三维信息，避免了从头训练3D重建模型。第二步是基于Blender的编辑，将分离出的物体导入Blender进行精细化操作，包括物体和相机的控制。第三步是生成式合成，引入扩散模型（SDv2.1）和双流扩散合成器，对Blender渲染后的结果进行视觉增强，避免传统扩散模型的失真问题。

独特训练技巧提升泛化性

为提高BlenderFusion的泛化性，论文中还提到两项重要训练技巧。源遮挡通过随机遮蔽源图部分，让模型学会基于条件信息恢复完整图像；模拟物体抖动则模拟物体的随机偏移和扰动，增强对相机和物体的解耦能力，提升生成结果的真实感和一致性。

出色效果助力自由创作

BlenderFusion框架在物体和相机操控的视觉生成中表现出色，能在单幅图像处理、多图像场景重组等复杂场景编辑中保持空间关系和视觉连贯性。它让用户摆脱提示词束缚，像搭积木一样自由创作理想画面，为AI图像合成带来了更自由的玩法。

论文地址： https://arxiv.org/abs/2506.17450

项目页面： https://blenderfusion.github.io/#compositing