图像修复模型BrushNet:使用分解的双分支扩散方法来进行图像内容的恢复和编辑

来自腾讯PCG ARC实验室和香港中文大学的研究团队推出新型图像修复（inpainting）模型BrushNet，它使用了分解的双分支扩散（diffusion）方法来进行图像内容的恢复和编辑。图像修复是指在图像中填补缺失或损坏部分的过程，目的是让整幅图像看起来自然且连贯。

项目主页：https://tencentarc.github.io/BrushNet
GitHub：https://github.com/TencentARC/BrushNet
DEMO：https://huggingface.co/spaces/TencentARC/BrushNet

BrushNet是一种新颖的即插即用双分支模型，旨在将像素级别的掩蔽图像特征嵌入到任何预训练的DM中，从而确保一致且增强的图像修复结果。此外，团队还引入了BrushData和BrushBench，以简化基于分割的图像修复训练和性能评估流程。

经过广泛的实验分析，BrushNet在多个关键指标上均优于现有模型，包括图像质量、掩蔽区域保留和文本连贯性。BrushNet的出色表现充分证明了其在图像修复领域的潜力和价值。

主要功能和特点：

即插即用（Plug-and-Play）：BrushNet可以轻松集成到任何预训练的扩散模型中，不需要对基础模型进行微调。

高质量图像生成：它能够根据文本提示生成高质量的图像，同时保持与原始图像的语义一致性。

灵活性：用户可以通过调整控制参数来灵活地控制修复过程中保留未遮挡区域的程度。

分割掩码支持：它特别适用于处理基于分割掩码的图像修复任务，这类任务在实际应用中非常常见，例如在电子商务产品展示和图像编辑中替换对象。

工作原理：

BrushNet通过将图像的掩码部分和噪声潜在表示（noisy latent）分别处理，降低了模型的学习负担，使得模型能够更细致地整合被掩码的图像信息。具体来说，它使用了变分自编码器（VAE）来提取被掩码图像的特征，并通过一个额外的分支将这些特征逐步融入到预训练的扩散模型中。此外，为了更好地保留未遮挡区域的图像内容，BrushNet采用了模糊掩码的混合策略。