LightIt：实现图像生成过程中的显式光照控制

来自慕尼黑大学和Adobe Research的研究人员推出LightIt，它能够对由扩散模型生成的图像进行明确的照明控制。研究人员提出了将生成过程与阴影和法线图相结合的新思路。在光照建模方面，采用了单次反弹阴影的方式，这种方式能够包含投射阴影的效果。

想象一下，你正在制作一部电影，需要根据场景的氛围来调整光线，但是又不想重新拍摄。使用LightIt，你可以简单地通过指定光照方向和阴影地图来控制图像中的光线效果，从而创造出符合你创意需求的光照效果。

主要功能：

• 光照控制： 允许用户明确控制生成图像中的光照条件。

• 光照一致性： 生成的图像在不同文本提示下保持一致的光照效果。

• 重照明功能： 能够根据给定的目标阴影重新照亮图像。

主要特点：

• 单次反弹光照模型： 通过考虑阴影和反射，模型能够创建更加真实感的图像。

• 数据集生成： 利用从真实世界图像中估计的阴影和法线图来训练控制网络。

• 身份保持重照明： 在改变光照的同时，保持图像中物体的身份特征。

工作原理：

LightIt的工作原理包括以下几个步骤：

1. 阴影估计： 使用一个轻量级模型来估计单个输入图像的直接光照，包括阴影和反射信息。
2. 光照条件数据集： 通过阴影估计方法生成一对真实世界图像和阴影图的数据集。
3. 光照控制网络： 训练一个网络，使用估计的阴影和法线图作为输入，来控制图像生成过程中的光照。
4. 重照明模块： 利用输入图像和目标阴影，进行身份保持的重照明。