Warp-as-History：单视频微调实现精准运镜控制，将相机轨迹转化为“伪历史” token，零样本泛化至未见场景

在 AI 视频生成领域，实现精准的相机控制（如推近、旋转、平移）通常面临两大难题：要么需要海量带标注数据重新训练模型，成本高昂；要么依赖复杂的测试时优化（Test-time Optimization），推理缓慢且不稳定。

Warp-as-History是由上海交通大学、上海 AI 实验室和上海创智学院联合推出的创新框架，它提出了一种颠覆性的思路：将相机诱导的几何变形转化为“伪历史”视觉 Token，直接复用预训练视频模型的历史上下文机制来实现镜头控制。

• 项目主页：https://yyfz.github.io/warp-as-history
• GitHub：https://github.com/yyfz/Warp-as-History

该方法无需修改模型架构或添加额外的相机编码器，仅通过单段视频的轻量级离线 LoRA 微调，即可让冻结的基础模型具备强大的零样本相机跟随能力，并在未见过的场景中实现高保真、高一致性的运镜视频生成。

核心亮点：变形即历史、单视频微调、零样本泛化

1. “Warp-as-History”：相机控制的新范式

• 核心理念：相机轨迹不再是外部控制信号，而是被包装为模型已“看过”的视觉历史。
• 工作流程：
  1. 几何变形：根据目标相机轨迹，将首帧图像投影变形为未来每一帧的“伪观测”。
  2. 伪历史构建：将这些变形后的图像打包为标准的视觉历史 Token。
  3. Token 对齐与过滤：将伪历史 Token 与去噪目标帧的时间位置对齐，并丢弃因遮挡或视角变化而无效的 Token。
  4. 原生生成：预训练模型沿着这些“历史线索”继续生成，自然补全新可见区域并处理动态前景。

2. 极低训练成本，极致效率

• 单视频微调：仅需 1 段视频 进行轻量级离线 LoRA 更新，耗时约 1 小时（单卡），即可校准模型对变形证据的信任度。
• 无需重训：完全复用预训练主干网络，无需百万级标注数据，大幅降低算力门槛。
• 推理无延迟：生成过程一次性完成，无需迭代优化或反复降噪引导，速度与常规生成无异。

3. 强大的零样本泛化能力

• 跨场景适用：在汽车场景微调后的模型，可直接应用于风景、室内、动物等完全不同的 unseen 场景。
• 任意轨迹支持：支持用户指定的任意复杂相机路径，模型能准确跟随并合理补全遮挡区域。
• 动态前景保留：镜头运动与物体独立运动解耦，前景物体不会因相机移动而扭曲或卡住。

4. 高保真画质与一致性

• 减少畸变与模糊：相比传统控制方法，Warp-as-History 生成的视频在边缘清晰度、纹理一致性及运动流畅度上表现更优。
• 智能补全：利用预训练先验，对新露出的背景区域进行自然合理的想象与填充，避免“穿帮”或空洞。

工作原理详解

1. 相机变形的伪历史 (Camera-Warped Pseudo-History)：
   • 输入首帧图像 $I_0$ 和目标相机轨迹 $T$。
   • 通过几何投影，计算每一时刻 $t$ 的变形图像 $I’_t$。
   • 将 ${I’_1, I’2, …, I’{t-1}}$ 编码为 Visual Tokens，作为“历史上下文”。
2. 目标帧对齐与可见性掩码 (Alignment & Visibility Masking)：
   • 将伪历史 Tokens 插入到去噪过程的历史窗口中。
   • 计算可见性掩码：对于因视角变化而不可见（如被遮挡或移出画面）的区域，标记为无效，强制模型依靠自身先验进行生成，而非盲目跟随变形。
3. 轻量级 LoRA 微调 (Lightweight LoRA Tuning)：
   • 使用单段真实视频及其相机标注数据。
   • 训练 LoRA 模块，学习“何时信任伪历史变形”与“何时依赖生成补全”的平衡策略。
   • 此步骤仅更新极少量参数，保留主干网络的强大生成能力。
4. 直接采样生成 (Direct Sampling)：
   • 在推理阶段，冻结主干网络，加载 LoRA。
   • 输入首帧与目标轨迹，模型直接输出符合运镜要求的视频序列。

性能表现

• 零样本能力：即使不微调，冻结模型也能展现出非平凡的相机跟随行为。
• 单视频微调效果：经过单视频 LoRA 微调后，相机遵循度、视觉质量及运动动态显著稳定，在多个基准测试中优于传统大数据训练方案。
• 泛化性验证：在不同领域（驾驶、室内、自然）的视频上均表现出优异的迁移能力。
• 效率对比：生成 33 帧视频仅比常规生成多几秒，远低于基于优化的方法（通常需数分钟至数小时）。