新型通用且一致的单目人类重光照和协调模型 Comprehensive Relighting ：能够从单张图像或视频中控制和协调任意身体部位的人类的光照属性，并使其与背景场景（即背景图像）自然融合

南加州大学、Adobe 研究院、Runway的研究人员推出新型通用且一致的单目人类重光照（relighting）和协调（harmonization）模型 Comprehensive Relighting ，该模型能够从单张图像或视频中控制和协调任意身体部位的人类的光照属性，并使其与背景场景（即背景图像）自然融合。

• 项目主页：https://junyingw.github.io/paper/relighting

Comprehensive Relighting 是一种用于人类重光照和背景协调的通用模型。它能够处理包含任意身体部位（如面部、半身、全身、多人场景）的图像或视频，并根据目标光照系数（例如球谐函数）或背景场景进行一致且协调的重光照。例如，给定一张人物照片和一个目标光照环境，该模型可以生成一张在新光照条件下的图像，同时确保人物与背景自然融合。

主要功能

1. 光照控制：能够根据用户指定的光照参数（如球谐函数）或背景图像对人物进行重光照。
2. 背景协调：将重光照后的人物图像与目标背景图像自然融合，确保整体视觉效果的一致性。
3. 视频重光照：支持对视频中的人物进行动态重光照，同时保持时间连贯性。
4. 通用性：能够处理各种场景，包括不同性别、肤色、身体部位（如面部、半身、全身、多人）等。

主要特点

1. 通用性：该模型能够处理各种场景，而不仅仅局限于特定的身体部位（如面部或静态人物）。
2. 时间连贯性：通过引入无监督的时间光照模型，该模型能够学习真实视频中的光照周期一致性，从而在视频重光照中保持时间连贯性。
3. 粗到细的框架：采用粗到细的重光照框架，通过预训练的扩散模型作为通用图像先验，学习大量具有不同光照条件的视觉数据。
4. 无监督时间建模：通过无监督学习，利用真实视频数据学习光照的时间一致性，无需额外的训练。
5. 引导细化：在生成过程中应用引导细化模块，以保留输入图像的高频细节。

工作原理

1. 粗到细的重光照框架：
   • 粗光照估计：从目标光照参数（如球谐函数）计算出粗略的阴影图，作为重光照的基础。
   • 细粒度重光照：使用预训练的扩散模型，结合粗光照估计和背景图像，生成细粒度的重光照图像。
2. 无监督时间光照模型：
   • 该模型通过学习真实视频中的光照周期一致性，预测未来帧的光照分布，从而在推理时增强时间连贯性。
3. 引导细化：
   • 在生成过程中，通过引导细化模块保留输入图像的高频细节，提高生成图像的质量。

实验结果

在实验中，Comprehensive Relighting 展示了强大的通用性和时间连贯性，优于现有的基于图像的人类重光照和协调方法。例如，在静态人物的重光照测试中，该模型在各种身体部位（如面部、半身、全身、多人）上均表现出色，平均 PSNR 和 SSIM 分数高于其他方法。在视频测试中，该模型能够生成具有强时间连贯性的重光照视频，而其他方法在光照连贯性方面存在挑战。