TaoMate-H3

184 00

TaoMate-H3 是阿里巴巴 TaoLive AIGC 团队开发的低延迟流式音视频生成运行时,底层基于 MiniMax H3,以小块分片形式同步生成音频与视频,支持 480p、768p、1080p 横竖屏分辨率的长连续视频生成。

作者
TaoLiveAIGC
触发词
基础模型
MiniMax H3
TaoMate-H3

TaoMate-H3 是由阿里巴巴TaoLive AIGC 团队开发的一款高性能音视频生成运行时。它基于 MiniMax H3 基础模型构建,通过引入创新的 3步 LoRA 流式生成技术,实现了极低的块延迟和长形式的连续生成能力,支持 480p/768p/1080p 多种分辨率下的同步音视频输出。

核心亮点

  1. 极速流式生成
    • 3步去噪:每个小块仅需 3 个 Stage3 去噪区间即可达到最终潜空间状态。
    • 低块延迟:首个可播放视频仅需 17.287 秒(相比原版 MiniMax H3 的 183.313 秒提速 10.6 倍)。
    • 纯 DiT 加速:纯扩散变换器(DiT)推理时间从 169.572 秒缩短至 14.810 秒,提速 11.45 倍。
  2. 音视频联合同步
    • 语音、环境音效与视频画面在统一的时间线上同步生成,确保口型、动作与声音的高度一致。
    • 集成音频引导机制,在提示词边界之间保持视觉身份、声音特征和运动轨迹的连续性。
  3. 多分辨率与长形式支持
    • 支持竖屏和横屏的 480p, 768p, 1080p 生成。
    • 通过干净的 KV 缓存管理,支持无限时长的连续生成,无明显的断裂感。
  4. 高效单节点推理
    • 支持 4 GPU 或 8 GPU 配置。
    • 采用 TP2 (Tensor Parallelism) 和 Ulysses 序列并行技术,最大化硬件利用率。

性能对比 (8 × NVIDIA H20 96GB)

指标TaoMate-H3MiniMax H3 (原版)提升幅度
纯 DiT 时间14.810 秒169.572 秒🔺 11.45 倍
首个最终块潜空间6.148 秒170.052 秒🔺 27.66 倍
基准首个可播放视频17.287 秒183.313 秒🔺 10.60 倍
峰值 DiT 内存31.37 GiB32.03 GiB基本持平

注:测试条件为 480×864 画布,10 秒输出,种子 8301,TP2 × Ulysses4 并行。

ComfyUI 用户专属:TaoMate-H3 LoRA 转换器

为了方便广大创作者使用,开发者 Robert1212star 已将官方的 TaoMate-H3 Step-3000 EMA LoRA 适配器转换为 ComfyUI 兼容格式。

文件信息

  • 文件名: taomate_h3_3step_comfy.safetensors
  • 大小: 约 2.48 GB
  • 来源: 基于官方 Step-3000 生成器 EMA LoRA (Rank 128, Alpha 128) 转换,权重未经重新训练。

安装步骤

  1. 下载 taomate_h3_3step_comfy.safetensors。
  2. 将其放入 ComfyUI 的 LoRA 目录:
    ComfyUI/models/loras/taomate_h3_3step_comfy.safetensors
    
  3. 重启 ComfyUI 或在节点管理器中刷新模型列表。

推荐工作流设置

  • 基础模型 (Checkpoint): MiniMax H3
  • LoRA: taomate_h3_3step_comfy.safetensors
  • 采样步数 (Steps): 3 (关键设置,专为加速设计)
  • CFG Scale: 根据具体提示词调整,通常建议 5-7。

⚠️ 兼容性说明

  • 该 LoRA 专为 ComfyUI 中的 MiniMax H3 自定义节点设计。
  • 请确保使用的 LoRA 加载器支持标准的 safetensors 键布局。如果遇到加载错误,可能需要检查自定义节点的版本或 LoRA 键名映射。

相关图书

MiniMax-H3-Fun-Controlnet-Union

MiniMax-H3-Fun-Controlnet-Union

MiniMax-H3-Fun-Controlnet-Union 是一个用于 MiniMax-H3 的 ControlNet-Union 模型,使用 VideoX-Fun 流水线训练而成。单个检查点可使 MiniMax-H3 视频生成器根据 Canny、Depth、HED、MLSD 或 Pose 控制视频进行条件生成,同时也支持视频修复(inpainting)。
MiniMax-H3-Facial-Realism-CloseUp

MiniMax-H3-Facial-Realism-CloseUp

MiniMax-H3-Facial-Realism-CloseUp 是一款专为 MiniMax H3 模型设计的实验性 LoRA 适配器,显著提升人像特写视频中的面部真实感与微表情细节。
H3-Latent-Upscaler-2x

H3-Latent-Upscaler-2x

在处理 MiniMax H3 视频时,传统的放大流程是“VAE 解码 → 像素缩放 → VAE 重编码”,这不仅耗时,还会引入额外的画质损失。H3-Latent-Upscaler-2x 提供了一种纯隐空间的解决方案,它能直接将干净的视频隐空间映射到 2 倍大的空间网格上,全程不触碰像素域。
MiniMax-H3 T2VA Prompt Rewriter LoRA

MiniMax-H3 T2VA Prompt Rewriter LoRA

lightx2v团队开源的MiniMax-H3 T2VA Prompt Rewriter LoRA是一款基于Qwen3.6-27B微调的LoRA适配器,专为将简短文本提示转换为MiniMax-H3文本生成音视频(T2VA)任务所需的结构化描述而设计。