Alvdansen Labs推出 H3 Keyframe Animation,为MiniMax H3视频模型打造三套专用LoRA,配套论文《Animating on Twos》。这套LoRA的核心目标,是让模型按照传统手绘动画师的思路生成动画,产出稳定统一的运动节奏,不再出现基础模型常见的矢量插值、数字缓动带来的画面漂移。
整套方案包含架构一致、训练流程相同的三个LoRA,差异在于条件契约——也就是参考图数量、两张参考之间的运动定义,三者各司其职。所有LoRA都是rank64 / alpha64、F32精度,单文件约1.88GB,训练迭代12000步。
三个LoRA适配器
Hero(单参考)
仅输入1张关键参考图,生成下一个自然关键帧。
设计思路:不提供终点参考,模型自主推演动作走向;如果给到目标画面,相当于直接泄露答案。适合用来创作动画序列里新的主关键帧。

Tween(双参考)
生成中间过渡帧,一小步一小步推进运动。
输入两张参考:不断滚动更新的当前帧 + 整段动作固定不变的远端极限姿态。远端参考是运动方向上下文,不是插值终点。生成结果循环作为近参考送入下一轮,远端参考全程保持固定,以此维持整段动作的运动趋势。

Sequence(双参考)
生成一段独立完整、自带手绘保持帧的短片序列。
输入窗口首帧与片段结束帧。和前两者不同:手绘一拍二动画本身就存在于H3基础模型分布内,这个适配器的作用是稳定复现该效果,收敛更早,不同检查点之间效果波动很小。

Hero、Tween是教会模型学习全新的运动映射;Sequence是强化模型已有能力。三者全部采用多软参考图像条件路径,不是简单首尾帧硬插值。
快速上手 ComfyUI
仓库自带可直接导入的ComfyUI工作流文件,开箱即可测试。
- 将参考图片放到
ComfyUI/input/ - LoRA适配器放入
ComfyUI/models/loras/ - 拖拽
h3_seq_r2v.json到画布加载工作流
- Hero模式:绕过第二张图片加载节点
- Tween / Sequence:启用第二个LoadImage节点,更换对应LoRA
⚠️ 重要加载提示
原生PEFT LoRA采用独立to_q/to_k/to_v投影,而MiniMax H3使用融合的单一qkv_proj。直接加载原始PEFT权重会出现键名不匹配,LoRA完全不生效,并且不会抛出报错,仅输出普通原图渲染。
仓库内.safetensors已经预先完成转换,张量适配融合QKV结构。如需自行转换其他权重,使用配套h3_lora_to_comfy.py脚本,校验权重键名是否包含qkv_proj。
⚠️ 模型版本限制
仅可在完整版MiniMax H3使用,不能用于H3 Turbo
Turbo是蒸馏精简版本,会丢失手绘线条细节;速度提升的代价,刚好就是这套LoRA要保护的线条质感与动画节奏。
推理基准配置(论文使用参数)
LoRA强度固定1.0,不可调低,rank与alpha相等,缩放系数正好等于1.0
- 基础模型:minimax_h3_ref2va_int8_convrot(未剪枝,非Turbo)
- 采样器:euler / simple,采样步数30–100
- 无CFG,无负面提示词,模型本身为CFG蒸馏版本
- 分辨率:1344 × 768,输出帧率24fps
- Sigma shift:video 12.0、audio 3.0,Denoise=1.0
- 合法帧数遵循公式
frames = 17n + 5,最短5帧。文中示例渲染使用22帧(一拍二,11张原画)
注意:训练时缓存编码长度和渲染长度相互独立,混淆两者会直接造成程序崩溃。
LoRA仅加载到视频主模型,文本编码器Qwen3-VL不支持LoRA,务必使用LoraLoaderModelOnly节点。
专用提示词语法
提示词本质是推理控制接口,分三种模板,严格遵循这套方言才能稳定复现效果。
Hero / 早期Tween(三段式)
Create the next keyframe in the sequence. SCENE: <构图+主体类型+景别+道具>. MOVEMENT: <运动对象、运动方式、落点>. STATIC: <保持不变元素,结尾带上构图与地面>.
Hero的MOVEMENT需要完整描述动作弧线:起始、路径、最终姿态。
Tween(五段式)
… SCENE: … FIRST FRAME: <近参考的姿态>. TARGET END FRAME: <远端参考姿态,描述为终点,禁止使用对比语句>. MOVEMENT: <仅单步动作>,landing <进度>. STATIC: <静态元素,结尾带上构图与地面>.
landing <progress>用来控制步长;禁止写“不变/依旧”这类对比描述,远端参考固定,近参考持续滚动,对比语句会失效。
推荐标注角色朝向:toward camera / back to camera / facing screen-left / screen-right,方向以画面坐标系为准。
Sequence
Picture 1 aligns with the 0.00-second mark of the target video; Picture 2 aligns with the <计算得到>-second mark. Subject: <景别+主体+地面>, animated on twos. Action: <按节拍描述运动路径,原画保持固定节奏>. Camera: <镜头角度/移动+原因>. Preserve: <所有不能漂移的维度>, and the on-twos rhythm.
训练提示词编写规范
训练数据有固定写作惯例,写提示词尽量对齐:
- 没有否定描述,全部正向陈述(无负面提示分支)
- 不写角色IP名称,主体身份依靠参考图像传入
- 同镜头内媒介描述字符串固定,例如
clean line on white - Camera字段必须附带理由,不只是单纯写镜头角度
- Preserve字段列出所有必须稳定不变的维度
- 手绘动画术语按需使用:anticipation、follow-through、weight shift、on twos
要点总结
- 三套LoRA(Hero/Tween/Sequence)专门适配MiniMax H3,实现传统手绘一拍二动画,解决AI视频插值漂移问题。
- 三者逻辑不同:Hero生成新关键帧,Tween一步步推进过渡,Sequence稳定生成完整保持帧短片。
- 权重存在QKV键名适配坑,原始PEFT直接加载无效;仅支持完整版H3,不兼容Turbo。
- 配套完整ComfyUI工作流,有专属提示词语法,必须遵循规范才能稳定控制运动。
- 推理参数固定LoRA强度1.0,无CFG、无负面提示,帧数存在特定约束。















