博世和芝加哥丰田技术研究所的研究人员提出了LumiNet，这是一种创新的光照传输架构，旨在给定一个源图像和一个目标光照图像的情况下，合成一个捕捉目标光照的源场景重照明版本。LumiNet通过两个关键贡献显著提升了光照传输的效果：一是从基于StyleGAN的重照明模型中提取数据的数据策划策略，二是处理源图像的潜在内在属性和目标图像的潜在外在属性的改进扩散控制网络（ControlNet）。此外，LumiNet还引入了学习适配器（MLP），通过交叉注意和微调注入目标的潜在外在属性，进一步优化了光照传输效果。
例如，我们有一张室内场景的照片，场景中有一张桌子、一台电视和一些家具。我们还有另一张同一场景但在不同照明条件下的照片，例如，第一张图片是在日光下拍摄的，而第二张图片是在夜晚灯光下拍摄的。使用LUMINET，我们可以将第二张图片的照明条件（夜晚灯光）转移到第一张图片上，生成一个新的图像，使其看起来像是在夜晚拍摄的，同时保持桌子的形状、纹理和颜色不变。
主要功能和特点
- 照明传递：LUMINET能够将一个场景的照明条件转移到另一个场景，即使这两个场景在空间布局和材质上有很大差异。
- 保持几何和反照率：在照明传递过程中，LUMINET能够保持源场景的几何形状和表面反照率不变。
- 处理复杂照明现象：LUMINET能够处理包括直接照明、镜面高光、投射阴影和间接照明在内的复杂照明现象。
工作原理
LUMINET的工作原理包括以下几个关键步骤：
- 潜在内在表示：使用预训练的潜在内在编码器从源图像和目标图像中提取潜在的内在特征和照明代码。
- 潜在控制网络：通过在潜在空间中操作，LUMINET能够控制照明传递过程，同时保持场景的内在属性不变。
- 跨注意力和微调：通过一个学习到的适配器网络（MLP），LUMINET将目标图像的潜在外在属性通过交叉注意力注入到预训练的扩散模型中，以保持目标照明特性。
- 数据准备：LUMINET使用从StyleGAN生成的数据和真实世界图像的组合来训练模型，以确保照明传递的准确性和真实性。
实验结果与性能提升
实验表明，LumiNet在具有不同空间布局和材质的场景之间成功传输了复杂的光照现象，包括镜面高光和间接照明。特别是在仅使用图像作为输入的具有挑战性的室内场景中，LumiNet的表现优于现有方法。具体来说：
- 复杂光照现象的传输：LumiNet能够准确捕捉并传输复杂的光照现象，如镜面高光、阴影和间接照明，使得生成的重照明图像更加逼真和自然。
- 多样化的场景处理：LumiNet不仅适用于简单的场景，还能处理具有复杂几何结构和材质特性的场景，展示了其广泛的适用性和鲁棒性。
- 高质量视觉效果：生成的重照明图像在视觉质量上表现出色，能够很好地保留源图像的几何和材质特性，同时准确地反映目标图像的光照效果。
评论0