TaoMate-H3

237 00

TaoMate-H3 是阿里巴巴 TaoLive AIGC 团队开发的低延迟流式音视频生成运行时,底层基于 MiniMax H3,以小块分片形式同步生成音频与视频,支持 480p、768p、1080p 横竖屏分辨率的长连续视频生成。

作者
TaoLiveAIGC
触发词
基础模型
MiniMax H3
TaoMate-H3

TaoMate-H3 是由阿里巴巴TaoLive AIGC 团队开发的一款高性能音视频生成运行时。它基于 MiniMax H3 基础模型构建,通过引入创新的 3步 LoRA 流式生成技术,实现了极低的块延迟和长形式的连续生成能力,支持 480p/768p/1080p 多种分辨率下的同步音视频输出。

核心亮点

  1. 极速流式生成
    • 3步去噪:每个小块仅需 3 个 Stage3 去噪区间即可达到最终潜空间状态。
    • 低块延迟:首个可播放视频仅需 17.287 秒(相比原版 MiniMax H3 的 183.313 秒提速 10.6 倍)。
    • 纯 DiT 加速:纯扩散变换器(DiT)推理时间从 169.572 秒缩短至 14.810 秒,提速 11.45 倍。
  2. 音视频联合同步
    • 语音、环境音效与视频画面在统一的时间线上同步生成,确保口型、动作与声音的高度一致。
    • 集成音频引导机制,在提示词边界之间保持视觉身份、声音特征和运动轨迹的连续性。
  3. 多分辨率与长形式支持
    • 支持竖屏和横屏的 480p, 768p, 1080p 生成。
    • 通过干净的 KV 缓存管理,支持无限时长的连续生成,无明显的断裂感。
  4. 高效单节点推理
    • 支持 4 GPU 或 8 GPU 配置。
    • 采用 TP2 (Tensor Parallelism) 和 Ulysses 序列并行技术,最大化硬件利用率。

性能对比 (8 × NVIDIA H20 96GB)

指标TaoMate-H3MiniMax H3 (原版)提升幅度
纯 DiT 时间14.810 秒169.572 秒🔺 11.45 倍
首个最终块潜空间6.148 秒170.052 秒🔺 27.66 倍
基准首个可播放视频17.287 秒183.313 秒🔺 10.60 倍
峰值 DiT 内存31.37 GiB32.03 GiB基本持平

注:测试条件为 480×864 画布,10 秒输出,种子 8301,TP2 × Ulysses4 并行。

ComfyUI 用户专属:TaoMate-H3 LoRA 转换器

为了方便广大创作者使用,开发者 Robert1212star 已将官方的 TaoMate-H3 Step-3000 EMA LoRA 适配器转换为 ComfyUI 兼容格式。

文件信息

  • 文件名: taomate_h3_3step_comfy.safetensors
  • 大小: 约 2.48 GB
  • 来源: 基于官方 Step-3000 生成器 EMA LoRA (Rank 128, Alpha 128) 转换,权重未经重新训练。

安装步骤

  1. 下载 taomate_h3_3step_comfy.safetensors。
  2. 将其放入 ComfyUI 的 LoRA 目录:
    ComfyUI/models/loras/taomate_h3_3step_comfy.safetensors
    
  3. 重启 ComfyUI 或在节点管理器中刷新模型列表。

推荐工作流设置

  • 基础模型 (Checkpoint): MiniMax H3
  • LoRA: taomate_h3_3step_comfy.safetensors
  • 采样步数 (Steps): 3 (关键设置,专为加速设计)
  • CFG Scale: 根据具体提示词调整,通常建议 5-7。

⚠️ 兼容性说明

  • 该 LoRA 专为 ComfyUI 中的 MiniMax H3 自定义节点设计。
  • 请确保使用的 LoRA 加载器支持标准的 safetensors 键布局。如果遇到加载错误,可能需要检查自定义节点的版本或 LoRA 键名映射。

相关图书

MiniMax-H3-Character-Swap-LoRA

MiniMax-H3-Character-Swap-LoRA

面向MiniMax H3视频模型的专用角色替换LoRA,依托H3 Relay 2.0在ComfyUI搭建端到端工作流,实现“参考图换脸/换角色,保留原视频表演动作”。项目尚在实验阶段,适合短镜头创作,长视频、复杂遮挡场景存在不稳定问题。
MiniMax-H3-Facial-Realism-CloseUp

MiniMax-H3-Facial-Realism-CloseUp

MiniMax-H3-Facial-Realism-CloseUp 是一款专为 MiniMax H3 模型设计的实验性 LoRA 适配器,显著提升人像特写视频中的面部真实感与微表情细节。
MiniMax-H3 Fused Turbo (INT8 ConvRot)

MiniMax-H3 Fused Turbo (INT8 ConvRot)

MiniMax-H3 Fused Turbo 是一个经过深度优化的 21 GB ComfyUI 扩散模型文件,专为 MiniMax H3 视频生成设计。它通过融合蒸馏的 Turbo LoRA 和运动平滑风格 LoRA,并采用 INT8 ConvRot 量化技术,实现了在 4 步内完成高质量的文本/图像到视频(T2V/I2V)及参考到视频(Ref2V)生成。
vh5tape

vh5tape

如果你想用 AI 复刻八十年代老旧录像带的复古画面,同时配套生成磁带噪音、沉闷单声道音效,vh5tape 这款社区 LoRA 就是专门为 MiniMax H3 全模态视频模型打造的复古风格工具。不同于普通图像滤镜,它可以做到画面损伤效果与音频磁带质感同步生成,一次性产出完整的 VHS 录像片段。