拉瓦尔大学、Depix Technologies和芝加哥丰田技术学院的研究人员推出SPOTLIGHT,它用于通过扩散模型实现对虚拟对象插入图像时的光影控制。这种方法的核心在于,通过指定对象的期望阴影,来控制对象的重新照明(relighting),而无需对神经渲染引擎进行额外的训练。
例如,你想要在一张室内照片里添加一把椅子。使用传统的扩散模型,你可能会得到一个静态的合成图像,但无法控制椅子上的光影效果。而SPOTLIGHT允许你通过指定椅子的阴影(比如通过阴影映射或手绘涂鸦)来控制椅子的光影效果,使得椅子看起来像是在真实环境中被相应方向的光源照亮一样。
主要功能
SPOTLIGHT的主要功能是实现对对象重新照明的精确控制。用户可以通过提供对象的阴影信息来指导扩散模型如何为对象着色,从而实现对光影效果的控制。
主要特点
- 无需额外训练:SPOTLIGHT可以直接应用于预训练的扩散模型,无需额外的训练或微调。
- 光影控制:通过指定对象的阴影,用户可以控制对象的照明效果,包括光源的方向和强度。
- 保持物理合理性:SPOTLIGHT在重新照明对象的同时,保持了与背景图像的物理合理性和和谐性。
- 灵活性:用户可以通过多种方式指定阴影,包括使用3D阴影映射、2D像素高度图,甚至是手绘涂鸦。
工作原理
SPOTLIGHT的工作原理基于以下几个步骤:
- 从内在图像渲染:利用预训练的扩散模型,接受包括反照率、阴影、表面法线和深度等内在图像作为输入。
- 混合阴影与背景:将用户提供的阴影掩码与背景图像混合,以便在最终渲染中正确地包含阴影。
- 增强照明控制:通过在模型中运行两个并行的分支(一个接收期望方向的阴影,另一个接收相反方向的阴影),并使用无分类器引导来增强对象的照明效果。
- 扩散模型的主干:SPOTLIGHT适用于任何预训练的扩散模型,不需要任何微调。
具体应用场景
SPOTLIGHT可以应用于多种场景,包括:
- 虚拟对象合成:在现实世界的背景中插入虚拟对象,并控制其光影效果,如在室内环境中添加家具。
- 图像编辑:对现有图像中的特定对象进行光影调整,以改善或个性化图像效果。
- 增强现实(AR)和虚拟现实(VR):在AR/VR应用中,根据用户的视角和环境光源动态调整虚拟对象的光影效果。
评论0