HyperFlow for MiniMax-H3

Video Rebirth 团队发布 HyperFlow，一款专为 MiniMax-H3 设计的 8 步 LoRA 适配器。该模型通过无数据流自蒸馏获得，运行于官方 diffusers Modular Pipeline，将默认 49 次前向传播压缩至 8 次，在 4×H200 上实现端到端约 3 倍加速（每段剪辑从 ~175 秒降至 ~60 秒），同时保持视频+立体声音频的完整输出能力。

• 官方地址：https://www.videorebirth.com/lp/hyperflow
• GitHub：https://github.com/Video-Rebirth/hyperflow

HyperFlow 并非通用 LoRA，其文件包含第二个 time embedder 的键，必须使用 hyperflow-h3 包中的 load_hyperflow_lora 加载，而非 diffusers 原生接口。基础权重、VAE、条件器及 t2va/fl2va/ref2va 三种工作流均保持官方版本不变，确保与上游生态完全兼容。

技术原理：双时间条件与固定 sigma 调度

HyperFlow 的核心创新在于对官方管线的三项可逆修改：

• 双时间嵌入：LoRA 训练时同时使用当前时间 t 和步端点 r（flow-map 公式）。TwoTimeEmbedder 包装基础 embedder，为 r 添加带 LoRA 的副本，并用文件中存储的固定 gate 混合两者。条件行（关键帧/参考）保持 r=t，行为与官方去噪器一致。
• 8 步固定调度：官方 timestep 块被训练好的 sigma 网格替换（含 video shift 12、audio shift 3），去噪循环将每步端点传入 embedder。其余工作流逻辑不变。
• 单文件多工作流：t2va/fl2va 共享 transformer/；ref2va 复用同一文件加载至 transformer_ref/，因适配器不触碰 adaln_proj（参考条件载体）。

文件格式为标准 safetensors，含 PEFT 风格键（DiT 块 bf16，time embedders fp36）及自描述头（sigmas、gate、rank、alpha、base_model_revision 等），可通过 read_metadata 仅读取元信息而不加载张量。

性能实测与质量评估

在 fl2va 工作流（124 帧，1344×768，seed 0）下对比：

加速低于理论 49:8 比值，因文本编码与 VAE 解码占比上升。峰值显存约 80GB/卡（LoRA 增 2.8GB）；单 GPU 需设 memory_reserve_margin="24GB" 避免 VAE 被驱逐。

质量方面，自蒸馏以基础模型为唯一教师，在同 seed 下展现更平衡的能力、更好的相机控制、时序一致性及材质细节。但跨 GPU 数量或注意力后端时，仅视觉相似（PSNR ≈27–34 dB）；NVIDIA Sol-Attn 稀疏注意力为可选近似（PSNR ≈23 dB），启用前需验证输出。

ComfyUI 适配方案：节点版与独立版并存

官方 HyperFlow 未原生支持 ComfyUI，开发者 drbaph 提供两种转换版本：

节点依赖版（推荐）

• 文件：custom_node_hyperflow_8step_v1.0_comfyui.safetensors（3.67 GiB，完整双时间条件）
• 用法：Load Diffusion Model → ApplyHyperFlow → SamplerCustomAdvanced + euler，SIGMAS 由节点输出
• 特点：保留完整双时间嵌入与固定 8 步网格，输出与官方一致
• 节点：https://github.com/Saganaki22/ComfyUI-Hyperflow

独立 LoRA 版（无需插件）

• 文件：minimax_h3_hyperflow_8step_v1.0_comfyui_bf16.safetensors 等四种变体（含剪枝/resize 版本）
• 用法：标准 Load LoRA 节点加载，手动设置 9 点 sigma 序列
• 限制：仅骨干单时间条件，输出偏离原始配方

推荐手动 sigma 序列（9 点定义 8 区间）：
1.0, 0.9939, 0.9843, 0.9661, 0.9231, 0.8349, 0.6969, 0.4688, 0.0

注意：非剪枝文件配完整基础模型，剪枝文件配对应曲线形式基础；原始 diffusers 布局文件会被 ComfyUI 节点拒绝。

使用注意事项与许可约束

• 加载方式：diffusers 环境必须用 load_hyperflow_lora；ComfyUI 节点版需安装自定义节点，独立版可用原生加载器但牺牲精度。
• 复现性：同 seed 单次运行可自我复现（音频逐位相同，视频 PSNR 43–50 dB）；跨硬件/后端仅视觉相似。
• 质量验证：蒸馏旨在保持基础模型的提示遵循、语言能力和偏见特性，使用前务必用 --baseline 对比自有提示词。
• 许可范围：受 MiniMax-H3 许可证约束，含地域限制与 Acceptable Use Policy；训练代码未开源。
• 硬件要求：80GB 以下显卡未经测试；Sol-Attn 默认关闭，启用需额外验证。

HyperFlow 代表了少步采样在视频生成领域的工程化落地：它不追求通用性，而是在特定模型与工作流上做到极致优化。对于 MiniMax-H3 用户而言，这是目前兼顾速度与质量的最优解；但对其他模型或场景，仍需回归基础管线评估。