来自Adobe和纽约大学的研究人员推出具有光照感知能力的扩散模型Relightful Harmonization，这是一种先进的图像处理方法，专门用于在更换人像照片背景时，保持前景人物与新背景之间的光线和色彩和谐。
假设你拍了一张在室内的照片，但你想把它变成在海滩上的度假照片。使用“Relightful Harmonization”技术，你可以将背景换成海滩的图片，同时自动调整人物的光线和色彩，使得最终的照片看起来就像是在海滩上拍摄的一样。
Relightful Harmonization在视觉保真度和光照一致性方面超越了现有的基准，在现实世界的测试场景中展现了出色的泛化能力，凸显了其多样性和实用性。
主要功能：
- 自动调整前景人物的光线和色彩，使其与新背景相匹配。
- 保持人物的细节和特征，如肤色、衣物颜色等，不会因为背景更换而失真。
主要特点：
- 利用了一种称为“扩散模型”的深度学习技术，这种模型能够生成高质量的图像。
- 引入了一个“照明表示模块”，它可以从目标背景图像中编码光线信息。
- 通过一个新颖的数据模拟流程，使用自然图像生成合成训练对，以提高模型的逼真度。
工作原理：
Relightful Harmonization分为三个阶段。首先，引入了一个光照表示模块，使扩散模型能够编码来自目标图像背景的光照信息。其次，设计了一个对齐网络，用于将图像背景中学习到的光照特征与全景环境图中学习到的光照特征进行对齐，后者为场景光照的完整表示。最后，为了进一步增强所提方法的逼真度，开发了一种新颖的数据模拟管道，该管道能够生成来自多种自然图像的合成训练对，用于优化模型。
- 照明感知扩散训练：首先，模型通过一个预训练的扩散模型学习如何根据背景图像中的光线信息生成图像。
- 照明表示对齐：然后，模型通过一个对齐网络，将从背景图像中提取的光线特征与全景环境地图中的特征对齐，以增强物理准确性。
- 真实感微调：最后，模型在一个扩展的数据集上进行微调，这个数据集是通过模型生成的自然图像对，以提高和谐化结果的真实感。
真实场景合成
光照效果：当目标背景具有明显的光照线索时，我们的方法能够生成视觉上极具说服力的光照效果（左图：合成前。右图：合成后）。此外，当背景翻转时，我们观察到输出中的光照方向进行了恰当且一致的调整。
阴影中和：我们的方法能够有效消除输入中的明显阴影，同时保持与背景环境光照的一致性。
阴影投射：在强烈光照条件下，例如头顶阳光直射的场景中，我们的方法能够产生合理的自遮挡阴影。
随时间变化的背景：我们的方法能够处理通过时间流逝序列（源）捕捉的背景图像，这些背景具有不断变化的光照条件。
随空间变化的背景：当应用于具有空间变化光照方向的移动背景时，我们的方法能够持续调整光照效果。
基于参考的合成：我们的方法支持基于参考图像的背景替换。这涉及从参考图像（左上角）中移除主体以创建合成背景（左下角）。合成结果（右侧）实现了与参考图像非常接近的光照效果。
评论0