FastH3

212 00

FastVideo 联合 Nuva Lab、英伟达 FastGen 团队推出 FastH3,一款经过稀疏蒸馏优化、面向商用落地的 MiniMax H3 音视频生成开源模型。在单张 Blackwell 架构 B200 显卡上最高实现14.38 倍推理提速,15 秒 768p 音视频生成耗时不到 13 秒,大幅降低原生 H3 的超长等待时间。

作者
FastVideo
基础模型
MiniMax-H3
FastH3

FastVideo 联合 Nuva Lab 和 NVIDIA FastGen 团队正式开源了 FastH3。这是一个基于 MiniMax H3 进行后训练的文本到视频与音频(T2VA)生成模型,通过极致的推理优化,为商业级工作负载提供生产就绪的高速视频生成方案。

FastH3

核心亮点:速度与质量的平衡

  • 极致加速:
    • 在单张 NVIDIA Blackwell (B200) GPU 上实现最高 14 倍 的加速比。
    • 在 8× B200 集群上,生成 15 秒 768p 视频仅需不到 13 秒,远低于实时时长。
  • 高质量保留:
    • 使用超过 1,000 小时的 B200 训练时间,配合真实世界的多镜头、视觉音频同步数据分布。
    • 原生支持可变分辨率、宽高比(方形、竖屏、横屏、超宽)和时长,所有能力集成在单个检查点中。
  • 完全开源:
    • 提供完整的模型权重、预提取的 LoRA 以及训练/推理代码。
    • 推荐版本为 4 步 VSA / Data-Free 检查点,无需目标视频数据,仅凭提示词即可训练。

技术原理:如何做到 4 步生成?

FastH3 通过两大核心技术将 Base H3 的 49 次 DiT 调用减少至 4 次,并大幅降低每次调用的计算成本:

  1. 分布匹配蒸馏 (DMD2):
    • 利用冻结的 Base H3 作为教师模型,通过判别器提供的分数估计差异来训练学生模型。
    • 结合反向模拟和合成视频运行,让学生模型在少步状态下也能保持高质量输出。
  2. 视频稀疏注意力 (VSA):
    • 引入可训练的稀疏注意力机制,学生模型仅保留约 10% 符合条件的视频块(90% 稀疏度),使用 tile-64 内核。
    • 文本和音频部分保持密集注意力,确保语义和声音的准确性。
    • 注意:VSA 检查点必须配合 FastVideo 的 VSA-H3 后端和 tile-64 CUDA 内核使用,无法直接替换为密集注意力。

性能基准 (NVIDIA B200)

以下数据为端到端延迟(含编码、去噪、解码、音频混音及文件输出),基于 1344×768 @ 24FPS:

模型 / 运行时时长1× B200 (秒)4× B200 (秒)8× B200 (秒)相对 Base H3 加速比 (1× / 4×)
Base H3 · Dense FA415s678.7193.1–1.0× / 1.0×
FastH3 V1 (VSA / Data-Free)15s47.215.512.8814.38× / 12.48×
FastH3 V1 (Dense / Data-Free)15s91.325.6–7.43× / 7.54×

注:VSA / Data-Free 是推荐的默认性能路径,使用了优化的 tile-64 CUDA VSA 内核、区域 DiT 编译及融合的视频 VAE。

后续发展路线图

  1. 质量与运动增强:发布 8 步模型选项,优化低噪声判别器样本及运动敏感损失,以进一步提升生成质量。
  2. 扩展条件类型:推出 FL2VA(首/末帧到视频)和 Ref2VA(参考图到视频)的蒸馏检查点,支持更复杂的创作工作流。
  3. 并行解码蒸馏 (PDD):与 NVIDIA FastGen 团队合作,应用最新的 PDD 算法进行新一轮训练。
  4. 本地化与多平台支持:优化针对 NVIDIA RTX、DGX Spark 以及 Apple MLX (Apple Silicon) 的运行效率,探索 FP8/NVFP4 量化支持。

如何使用

  • 硬件要求:推荐使用 NVIDIA Blackwell (B200) 以获得最佳性能,但权重本身是硬件无关的,可在其他兼容 H3 运行时的设备上运行。
  • 软件依赖:必须安装 FastVideo 及其 VSA-H3 后端内核。
  • 获取方式:完整权重和 LoRA 已开源,可通过 FastVideo 仓库获取。

相关图书

Minimax-H3-Turbo

Minimax-H3-Turbo

Lightx2v团队发布Minimax-H3-Turbo,为MiniMax-H3模型提供推理加速能力。该LoRA支持4步快速生成,推荐配置为0.75强度搭配er_sde或sa_solver调度器。
Open-H3-Regenerate-2K

Open-H3-Regenerate-2K

Open-H3-Regenerate-2K 由英伟达 Sana 团队推出,是MiniMax H3 闭源 2K 精炼 API 的开源替代方案。官方 H3 仅开放 768P 基础生成权重,2K 高清重绘能力只提供托管 API、不开放权重,这个项目补齐了本地部署的短板:输入任意低分辨率视频草稿,在潜在空间上采样后,只用 3 步扩散重绘,原生输出 2K(2560×1440)甚至 4K 视频。
MiniMaxH3 Enhancers

MiniMaxH3 Enhancers

MiniMax H3 Enhancers 是面向 MiniMax H3 视频模型的画质增强 LoRA,目标是提升成片整体视觉质感,减少生成自带的模糊发虚问题,优化人脸、人物与背景细节,让视频观感更干净精致。
MiniMax-H3-Turbo

MiniMax-H3-Turbo

阿里系呜里科技(Wuli)推出MiniMax-H3-Turbo,基于MiniMax-H3模型做加速优化,把音视频生成压缩至最少4步即可完成。项目提供4步、6步、8步三套变体,开发者可以在速度与生成效果之间灵活取舍。