Viggle-Animate

Viggle-Animate 是一款视频角色替换模型，它摒弃了传统的姿态估计、分割掩码和人脸跟踪等中间环节。用户只需在图像编辑器中重绘视频中的任意一帧，模型即可将该编辑精准传播至整个镜头，同时完美保留原始的运动、相机轨迹和时间线。

作为 MiniMax-H3 ref2va Transformer 的 331 亿参数全量微调版本，并通过 DMD 联合蒸馏压缩至仅需 3 次前向传递，Viggle-Animate 在单张 B200 GPU 上渲染 124 帧仅需 26 秒，比 Wan2.2-Animate-14B 快 6.1 倍。

核心优势：极简输入，极致性能

• 零脚手架依赖：
  • 无中间模型：视频阶段不运行姿态估计器、分割器、人脸跟踪器或文本编码器。
  • 两输入即全部：仅需“驱动视频”+“一帧重绘图”。外观来自重绘帧，几何来自驱动视频，无需额外的对齐或身份编码。
• 极速推理：
  • 3 次前向传递：通过联合蒸馏（高噪声端学习替换逻辑，低噪声端保留纹理细节），将采样步数从常规的 20-30 步压缩至 3 步。
  • 26 秒/镜头：在 480×832 分辨率、24fps 下，单次渲染耗时仅 26 秒（其中采样仅 13.6 秒）。
• 动态保真度：
  • 在快速运动（甩头、踢腿、跳跃）场景下表现最强。由于参考帧本身已包含正确的姿态、光照和取景，模型无需重新对齐，避免了传统方法在高速运动下的涂抹与错位。
• 超越人类的泛化能力：
  • 因循环中无任何“人类”假设组件，它能动画化任何你能绘制的内容：动物（耳朵/鳍状肢自动绑定）、非人形物体（客机机翼绑定手臂）、风格化角色（粘土人）甚至多角色场景。

技术原理：联合蒸馏与全量微调

Viggle-Animate 并非简单的 LoRA 叠加，而是深度定制的产物：

1. 全量微调 (Full Fine-tuning)：基于 MiniMax-H3 ref2va Transformer (33.1B) 进行角色替换目标的全量微调，确保替换逻辑的准确性。
2. DMD2 联合蒸馏：
   • 高噪声教师：使用微调后的模型监督高噪声端，学习“如何正确替换”。
   • 低噪声教师：使用原始 MiniMax-H3 监督低噪声端，保留“高质量纹理与细节”。
   • 结果：学生模型同时继承了精准的替换能力和优秀的画质，且仅需 3 步即可完成生成。
3. 固定嵌入条件：文本编码器被移除，取而代之的是一个随权重附带的冻结嵌入 (assets/fixed_prompt.txt)，对每次渲染保持一致，进一步降低开销。

性能对比：Viggle-Animate vs Wan2.2-Animate-14B

注：Wan 的 160 秒未包含其预处理通道耗时，实际差距可能更大。

⚠️ 局限性说明

尽管表现卓越，Viggle-Animate 仍有明确边界：

• 继承图像编辑限制：模型不会添加重绘帧中不存在的内容。若重绘与视频几何冲突，视频姿态优先（如乐高小人仔会恢复人体解剖结构）。
• 口型同步较弱：特写镜头下口型与语音同步存在滞后，这是训练数据限制而非结构性问题。
• 复杂交互挑战：多角色紧密交互或频繁切镜场景质量会下降。

仓库结构

• transformer/：33.1B 参数全量微调底座（bf16, 14 分片）。
• lora/：秩 128 蒸馏增量（2.5 GB），覆盖 302 个线性层。必须加载在微调后的 Transformer 上，加载到原始模型无效。