在数字影像处理领域，耶鲁大学和Adobe研究中心联合推出了一项创新技术——SynthLight。这项技术基于扩散模型，通过模拟环境光照条件对真实人像照片进行重新照明，从而达到令人惊叹的视觉效果。该方法不仅能够生成自然的皮肤高光、明显的颈部阴影等细节，还能保留人物身份特征，确保整体构图和谐。尽管模型仅在合成的头部特写图像上进行训练，但它展现出卓越的泛化能力，能够处理半身肖像甚至全身人偶。
例如，使用SynthLight对一张在自然光下拍摄的肖像照片进行重照明，可以将其转换为在工作室灯光下拍摄的效果，包括在眼睛中产生反射光、耳朵中的次表面散射以及与服装的相互反射等复杂的照明效果。
主要功能
-
肖像重照明：能够对肖像照片进行重照明，模拟不同的环境光照条件。
-
细节保留：在重照明过程中保留肖像的细节和主体的身份特征。
-
泛化能力：尽管仅在合成数据上训练，但能够泛化到多样化的实际照片，包括半身肖像和多人照片。
主要特点
-
合成数据训练：使用基于物理的渲染引擎合成数据集进行训练，模拟不同光照条件下的肖像变化。
-
多任务训练：结合真实人类肖像（无光照标签）进行多任务训练，减少合成与真实图像域之间的差距。
-
推理时适应：基于分类器自由引导的推理时扩散采样程序，利用输入肖像更好地保留细节。
-
高质量照明效果：能够产生高质量的照明效果，如硬投影、眼睛中的反射光和次表面散射。
技术原理与策略
SynthLight将图像重新照明视为一个重新渲染的过程，其中像素值会根据环境光照的变化而相应调整。为了实现这一目标，研究人员采用了一个基于物理的渲染引擎，创建了涵盖多种光照条件的数据集，用于模拟3D头部模型在不同光照下的表现。此外，他们还提出两种关键策略来缩小合成图像与实际图像之间的差距：
- 多任务训练：即使缺乏光照标签的真实人像照片也被纳入训练过程，以增强模型的泛化能力。
- 无分类器引导的推理时间扩散采样：这种方法允许更精确地保留输入人像中的细节，同时适应不同的光照条件。
实验结果
- 特写人像：通过对环境贴图的连续旋转，SynthLight能细致地再现如皮肤高光、耳朵次表面散射及头发边缘效果等复杂的光照现象。
- 半身人像：尽管训练数据集中没有半身人像的例子，但SynthLight依然展示了强大的泛化能力，成功应用于此类场景。
- 面部彩绘与非标准案例：即使面对面部彩绘或玩具、小雕像等特殊情况，SynthLight也能准确捕捉并再现光影变化。
评论0