BrushNet – 腾讯推出的高质量图像照片修复模型

什么是BrushNet?

最新成果展示：由腾讯PCG部门的ARC实验室携手香港大学研究团队倾力打造的BrushNet，是一项突破性创新的图像修复技术。该技术基于扩散模型原理，采用独特的双分支架构，能够高效处理图片中的遮罩区域。BrushNet的每个分支各自承担着不同的角色：一分支负责解析遮罩区域的像素级特征，另一分支则专注图像内容的生成。这种设计策略不仅在细节上精准地将遮罩信息融合至修复过程中，而且在生成高标准修复质量的同时，完美保持了原始图像的连贯性。

与传统图像修复方法（Blended Latent Diffusion、Stable Diffusion Inpainting、HD-Painter、PowerPaint等）相比，BrushNet在风格、内容、颜色等各方面均展现出卓越的协调性。

BrushNet的官方资源

• 项目主页：点击访问
• 代码开源：GitHub链接
• 研究论文：arXiv论文

BrushNet的核心优势

• 多样化图像修复：适用于多种场景和风格的图像修复。
• 精细到像素：对遮罩区域逐像素精确修复，无缝融入原图。
• 保留原图未遮罩区域：精准控制，避免对原图内容的不必要修改。
• 兼容预训练模型：具有即插即用特性，可与多种预训练模型结合使用。
• 高度灵活与控制性：参数调整以适应不同规模和细节的修复需求。

BrushNet的工作机制

创新的双分支架构是BrushNet的核心，以下是其工作流程的简要说明：

1. 双分支架构：遮罩图像特征处理与图像内容生成分工明确。
2. 特征提取：利用VAE技术对遮罩图像进行特征提取。
3. 扩散模型利用：采用预训练的扩散模型来生成图像内容。
4. 特征融合：逐步将遮罩特征融合入扩散模型，实现精细控制。
5. 去噪生成：通过迭代的去噪步骤从噪声中恢复出图像内容。
6. 模糊融合技术：采用模糊融合策略减少硬边缘，保留未遮罩区域的细节。
7. 图像输出：最终产出自然衔接、高品质的修复图像。