IC-Light是Controlnet、Fooocus、Stable Diffusion WebUI Forge的开发者lllyasviel推出新开源项目，这是一款控制图像照明效果的模型，简单来说其主要作用就是为图像进行重新打光，目前它当前提供两类模型：文本条件重照明模型和背景条件模型，两种模型都需要以前景图像作为输入。
- GitHub：https://github.com/lllyasviel/IC-Light
- 模型地址：https://huggingface.co/lllyasviel/ic-light
- Demo：https://huggingface.co/spaces/lllyasviel/IC-Light
IC-Light项目通过先进的技术手段，为图像照明控制领域带来了新的可能。无论是专业的图像处理还是日常的摄影爱好者，都能够通过这个工具，轻松实现对图像光照效果的精细调整。
模型说明
- iclight_sd15_fc.safetensors： 这是标准的重新照明模型，您可以根据文本描述和图像的前景内容来调整照明效果。
- iclight_sd15_fcon.safetensors：这个模型与上述模型类似，但在训练时加入了一些扰动。不过，在一项用户研究中发现，不加入扰动的模型表现略好，因此它被选为默认选项。
- iclight_sd15_fbc.safetensors ： 这个模型除了考虑文本和前景，还会参考背景信息来调整照明，以获得更加和谐的效果。
主要功能与特点
文本条件模型
- 用户输入文本提示，如“左侧光线”、“日光”，模型据此生成具有期望光照效果的图像。
- 例如，输入“阳光从窗口射入、温馨氛围、卧室”，并选择光照方向“左侧”，即可获得相应的光照效果。
背景条件模型
- 结合背景信息，对前景物体进行光照变化，无需复杂提示。
- 简单的描述如“电影般的灯光”，模型即可生成匹配的光照效果，增添电影风格。
一致的照明
- 利用HDR空间中光线传播的独立性，实现不同光源混合的一致性。
- 通过MLP在潜在空间中训练，模型能够产生高度一致的重照明效果，甚至合并生成法线图。
潜变量空间训练
- 模型通过潜变量空间学习不同光照的映射关系，确保重照明效果的一致性。
工作原理
光线独立性
- 在HDR空间中，不同光源的混合效果与单一光源效果数学上一致。
一致性建模
- 使用MLP确保在潜在空间中不同光源的组合和传输具有一致性。
模型结果
- 模型使用潜在扩散技术，在各种光照条件下产生高度一致的效果。
- 结果一致性高，可以将不同光照条件下的结果合并为法线图。
一致性实验
- 实验展示了外观混合和光源混合在HDR空间内的一致性。
- 通过潜在空间的一致性，模型能够在不同光源组合下稳定合成光照效果。
评论0