无需训练的视频重新打光方法Light-A-Video：对任意给定的视频序列或前景序列进行平滑且高质量的光照控制

上海交通大学、中国科学技术大学、香港中文大学、香港科技大学、斯坦福大学和上海人工智能实验室的研究人员推出Light-A-Video，这是一个无需训练（training-free）的视频重新打光（video relighting）方法，能够在不进行任何训练或优化的情况下，对任意给定的视频序列或前景序列进行平滑且高质量的光照控制。该方法通过结合预训练的图像重光照模型（如 IC-Light）和视频扩散模型（如 CogVideoX 和 AnimateDiff），实现了对视频的零样本（zero-shot）光照控制。

• 项目主页：https://bujiazi.github.io/light-a-video.github.io
• GitHub：https://github.com/bcmi/Light-A-Video
• Demo：https://huggingface.co/spaces/fffiloni/Light-A-Video

Light-A-Video 改编自图像重新打光模型，引入了两个关键模块来增强光照一致性。首先，设计了一个一致光照注意力（CLA）模块，它增强了自注意力层中的跨帧交互，以稳定背景光源的生成。其次，利用光照传输独立性的物理原理，研究人员使用渐进式光融合（PLF）策略，在源视频的外观和重新打光后的外观之间应用线性混合，以确保照明的平滑时间过渡。

例如，用户可以输入一段视频和一个描述光照条件的文本提示，如“阳光透过窗户照进来”，Light-A-Video 能够根据这些条件生成一段光照效果一致且平滑过渡的视频，即使原始视频中的光照条件完全不同。

主要功能

1. 视频重光照：根据文本描述或图像条件，对整个视频或前景序列进行光照调整，生成与描述一致的光照效果。
2. 背景生成：支持仅输入前景序列和文本描述，自动生成与光照条件匹配的背景。
3. 零样本光照控制：无需训练或优化，直接利用预训练模型生成高质量的重光照视频。
4. 平滑过渡：通过渐进式光照融合策略，确保视频中光照效果的平滑过渡，避免闪烁。

主要特点

1. 无需训练：Light-A-Video 是首个无需训练的视频重光照模型，直接利用预训练的图像重光照模型和视频扩散模型，大大降低了实现成本。
2. 光照一致性：通过 Consistent Light Attention（CLA）模块和 Progressive Light Fusion（PLF）策略，显著提高了视频中光照效果的时空一致性。
3. 高质量生成：在保持光照一致性的基础上，生成的视频在视觉质量上与预训练的图像重光照模型相当。
4. 兼容性强：该方法不依赖于特定的视频扩散模型，适用于多种流行的视频生成框架，如 UNet 和 DiT。

工作原理

1. Consistent Light Attention (CLA) 模块：
   • 问题：直接对视频逐帧应用图像重光照模型会导致光照源不稳定，出现闪烁现象。
   • 解决方案：CLA 模块通过在自注意力层中引入跨帧交互，增强背景光照源的稳定性。它结合了原始注意力流和跨帧平均的注意力流，通过加权平均的方式平衡两者，从而生成稳定的光照效果。
2. Progressive Light Fusion (PLF) 策略：
   • 问题：CLA 模块虽然提高了光照源的稳定性，但在像素级别上仍可能缺乏约束，导致外观细节不一致。
   • 解决方案：PLF 策略通过逐步将重光照结果注入视频扩散模型的去噪过程中，利用视频扩散模型的运动先验确保光照效果的平滑过渡。具体来说，PLF 使用线性融合的方式将重光照外观逐步融合到原始去噪目标中，从而引导去噪方向逐渐接近目标光照效果。
3. 整体流程：
   • 输入视频首先被编码到潜在空间，然后添加噪声。
   • 在去噪过程中，每一帧的去噪目标通过 CLA 模块生成稳定的光照效果。
   • PLF 策略逐步将重光照目标与原始去噪目标融合，确保光照效果的平滑过渡。
   • 最终生成的视频在光照效果上与输入文本描述一致，同时保持了原始视频的运动和外观细节。

具体应用场景

1. 影视制作：在电影和电视剧中，通过调整光照条件来匹配不同的场景需求，减少后期制作的工作量。
2. 虚拟现实与增强现实：为虚拟环境生成与光照条件一致的视频内容，提升沉浸感。
3. 视频编辑：在视频编辑中快速调整光照效果，无需复杂的训练过程。
4. 广告制作：根据广告创意快速生成不同光照条件下的视频，提升广告效果。
5. 在线教育：为教育视频生成与教学内容匹配的光照效果，提升视觉效果。