在视频生成与编辑领域，如何在保持整体一致性的同时实现灵活可控的局部修改，一直是一个挑战。近日，来自香港中文大学与商汤研究院的研究团队提出了一种新型视频编辑方法——LoRA-Edit，该方法基于掩膜感知的LoRA微调策略，实现了高质量且可控的首帧引导视频编辑。
假设你有一段视频，记录一朵花逐渐开放的过程。你想将花朵的颜色从红色改为粉色，并希望这种变化在整个视频中保持一致。
传统方法可能只能在第一帧实现颜色更改，后续帧可能会出现颜色还原或不连贯的问题。而使用 LoRA-Edit，你可以通过编辑第一帧并设定掩膜，让模型自动将颜色变化传播到所有后续帧，同时保留花瓣的动态展开过程和背景环境不变。
问题背景
当前主流的视频编辑方法大多依赖于大规模预训练模型，虽然能够生成视觉质量较高的结果，但在特定场景下的编辑灵活性较差。尤其是首帧引导的编辑方式，虽然能控制初始画面，但难以将编辑效果一致地传播到后续帧中。
为了解决这一问题，LoRA-Edit 提出了一种新的训练与推理机制，能够在不改变原始模型架构的前提下，通过掩膜控制区域编辑，并结合LoRA微调策略，提升编辑传播的连贯性与准确性。
核心功能
LoRA-Edit 主要具备以下几项核心能力：
- 首帧引导编辑
用户可对视频的第一帧进行任意编辑（如颜色替换、物体变形等），并通过模型将编辑效果传播至整个视频序列。 - 灵活的编辑控制
利用空间掩膜机制，精确指定哪些区域需要修改，哪些区域应保持不变，从而实现细粒度的视频编辑。 - 支持额外参考图像
除了第一帧，用户还可以提供额外的编辑帧作为视觉锚点，帮助模型理解编辑对象在不同时间点的状态变化。 - 背景保留能力
在编辑过程中，非目标区域（如背景）被完整保留，避免因编辑导致的不必要扰动。
技术原理
LoRA-Edit 的核心技术在于其掩膜感知的LoRA微调策略，主要包括以下几个步骤：
1. LoRA 微调基础
研究人员在预训练的图像到视频（I2V）模型中插入低秩适应模块（LoRA），仅调整注意力层中的参数，使模型快速适配特定编辑任务，而无需重新训练整个网络。
2. 掩膜机制设计
通过输入带有掩膜的条件视频，指导模型学习哪些区域需要编辑、哪些区域应保持原样。掩膜不仅用于训练阶段的区域划分，在推理时也作为编辑传播的控制信号。
3. 多源信息融合
模型从两个来源获取信息：
- 输入视频：提供空间结构与运动线索；
- 参考图像：提供外观样式与编辑目标。
通过动态调节注意力机制，确保每个区域根据合适的来源进行更新。
4. 额外参考引导
在训练阶段引入额外的编辑帧，有助于模型理解编辑对象在时间维度上的变化趋势，从而在推理时更好地维持编辑的一致性和自然性。
实验验证
研究团队在多个视频编辑任务上对 LoRA-Edit 进行了评估，并与现有方法进行了对比实验：
1. 与参考引导方法比较
LoRA-Edit 在保留背景内容和时间一致性方面表现优异，优于 Kling1.6 和 VACE 等方法。
2. 与首帧引导方法比较
在 DeQA 分数、CLIP 分数及输入相似性等指标上，LoRA-Edit 均优于 AnyV2V、Go-with-the-Flow 和 I2VEdit。
3. 用户研究反馈
在用户调研中，LoRA-Edit 在运动一致性与背景保留方面获得了更高的评分，表明其在实际应用中具有良好的用户体验。
4. 消融实验
- 验证了空间掩膜在区分编辑区域与保留区域的有效性；
- 证明了额外编辑帧在提升编辑传播控制方面的关键作用。
