谷歌推出LightLab：基于扩散模型的AI工具，实现单张图像中的精细光照控制

在图像后期处理中，操控光照条件一直是一个复杂且具有挑战性的任务。传统方法依赖于3D图形技术，通过多次捕获重建场景的几何结构和属性，并利用物理光照模型模拟新的光照效果。尽管这些技术提供了对光源的明确控制，但从单张图像中恢复精确的3D模型仍存在诸多局限，往往导致最终结果不尽如人意。

近年来，基于扩散模型的现代图像编辑方法逐渐崭露头角。这些方法利用强大的统计先验知识，绕过了传统方法对物理建模的严格要求。然而，由于扩散模型固有的随机性以及其对文本条件的高度依赖，实现精确的参数化控制仍然是一大难题。

生成式图像编辑方法已被广泛应用于各种重新照明任务，但结果参差不齐。例如，人像重新照明方法通常使用光照舞台数据来监督生成模型，而物体重新照明方法则可能依赖合成数据集微调扩散模型。此外，一些方法假设户外场景仅有一个主要光源（如太阳），而室内场景则需要应对更为复杂的多光源环境。为解决这些问题，研究人员探索了逆向渲染网络、操纵StyleGAN潜在空间等技术。闪光摄影研究也展示了通过闪光/无闪光对分离和操控场景光源的潜力。

LightLab：精准控制光源的突破性方法

来自谷歌、特拉维夫大学、赖希曼大学以及耶路撒冷希伯来大学的研究团队提出了一种名为 LightLab 的全新方法。LightLab 是一种基于扩散模型的AI工具，能够实现对图像中光源的明确参数化控制，专注于光源的两个核心属性：强度 和 颜色。

• 项目主页：https://nadmag.github.io/LightLab

LightLab 提供了对环境光照和色调映射效果的全面控制，允许用户通过调整光照来改变图像的整体外观与氛围。实验表明，该方法在包含可见光源的室内图像上表现出色，同时在户外场景和跨领域示例中也展现出潜力。与其他竞争方法相比，LightLab 在提供高质量、精确控制方面具有开创性意义。

LightLab的工作原理

LightLab 使用一对配对图像隐式建模受控的光照变化，并训练一个专门的扩散模型。为了构建训练数据集，研究人员结合了真实照片和合成渲染两种方式：

1. 真实数据收集：研究人员拍摄了600对原始图像，每对图像显示相同场景，但仅打开或关闭一个可见光源。这些图像使用三脚架固定的移动设备捕获，并通过自动曝光设置和后期校准确保适当的曝光水平。
2. 合成数据增强：为扩展数据规模，研究人员从20个艺术家创建的室内3D场景中渲染出大量合成图像。他们使用Blender中的物理渲染技术，在目标物体周围随机采样相机视角，并以程序化方式分配光源参数（如强度、色温、面积大小和锥角）。

研究表明，将真实捕获与合成渲染相结合的混合数据策略在所有场景中均实现了最佳效果。虽然添加合成数据带来的定量改进相对较小（PSNR仅提升2.2%），但在定性分析中，LightLab 明显优于其他竞争方法（如OmniGen、RGB ↔ X、ScribbleLight和IC-Light）。这些方法常常引入不必要的光照变化、颜色失真或几何不一致，而LightLab不仅能够忠实控制目标光源，还能生成物理上可信的全局光照效果。

优势与未来展望

LightLab 的推出标志着基于扩散模型的光源操控技术迈出了重要一步。通过结合光线性原理和高质量的合成3D数据，研究人员成功隐式建模了复杂的光照变化，从而实现了对光源的高精度控制。

然而，LightLab 仍面临一些限制。例如，数据集中可能存在光源类型偏差，这可以通过与无配对微调方法集成来缓解。此外，尽管使用消费级移动设备进行简单数据捕获并结合后期曝光校准便于操作，但这限制了以绝对物理单位进行精确重新照明的能力，表明未来仍有改进空间。