美团龙猫发布 LongCat-Video-Avatar 1.6:开源音频驱动视频生成框架,支持超 10 分钟长视频与高保真唇音同步

美团龙猫团队于 2026 年 11 月 15 日正式推出 LongCat-Video-Avatar 1.6,这是其开源音频驱动人体视频生成框架的最新重大升级。在 1.5 版本的基础上,v1.6 通过引入精炼的后训练流程(结合强化学习、无分类器引导及 On-policy 蒸馏)和全面的推理优化,显著提升了唇部运动的自然度、面部与肢体动作的表现力,并成功解决了长时生成中的误差累积问题,实现了超过 10 分钟的高质量、高一致性视频生成。

  • 项目主页:https://meigen-ai.github.io/LongCat-Video-Avatar-1.6-Page
  • GitHub:https://github.com/meituan-longcat/LongCat-Video
  • 模型:https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.6
美团龙猫发布 LongCat-Video-Avatar 1.6:开源音频驱动视频生成框架,支持超 10 分钟长视频与高保真唇音同步

核心突破:从“短片段”到“长叙事”

LongCat-Video-Avatar 1.6 的核心价值在于突破了传统数字人视频生成的时长与质量瓶颈:

  1. 超长视频稳定性:
    • 通过长视频 Rollout 技术和改进的自回归延续机制,有效缓解了长时间生成过程中的误差累积。
    • 能够生成超过 10 分钟 的连续视频,同时保持身份一致性、视觉质量和时间连贯性,适用于长篇演讲、在线课程及虚拟主播直播等场景。
  2. 极致的唇音同步与自然度:
    • 唇部优化:大幅减少了以往模型中常见的夸张嘴部运动、唇色过红以及嘴部区域的时间不稳定性,使唇形变化更加细腻、真实。
    • 全身协调:不仅关注面部,还增强了头部姿态和身体动作的表现力,使其与音频情感和内容更紧密地结合,呈现出富有感染力的整体动态。
  3. 高效的推理与部署:
    • 引入了端到端流水线优化和模型执行加速技术,显著降低了生成延迟。
    • 基于 DMD(Distribution Matching Distillation)的少步蒸馏改进和无分类器引导,使得模型在保持高质量的同时,推理速度更快,更适合大规模商业化部署和服务。

技术架构创新

v1.6 版本的性能提升得益于其先进的后训练策略:

  • 强化学习 (RL):用于微调模型对音频特征的响应,确保动作的自然性和多样性。
  • 无分类器引导 (Classifier-Free Guidance):改进了基于 DMD 的少步蒸馏过程,提升了生成样本的分布匹配精度。
  • On-policy 蒸馏:在长视频生成过程中实时调整策略,确保长期依赖下的稳定性。

性能基准:跻身行业前列

在包含 33,051 张有效个人投票的全配对人工偏好研究(Arena)中,LongCat-Video-Avatar 1.6 展现了强大的竞争力:

  • Elo 评分:1068.1
  • 排名:在六个评估系统中位列 第二。
  • 对比结果:
    • 仅次于 OmniHuman-2.0。
    • 显著优于 LongCat-Video-Avatar 1.5、HeyGen、OmniHuman-1.5 以及 Kling Avatar 2.0。

这一结果表明,LongCat-Video-Avatar 1.6 不仅在开源领域处于领先地位,其生成质量也已超越部分主流商业系统,成为构建高保真数字人的首选方案之一。

应用场景

  • 虚拟主播与直播:支持长时间不间断的稳定输出,减少画面抖动和身份漂移。
  • 在线教育与企业培训:生成长达数十分钟的课程视频,保持讲师形象一致且口型精准。
  • 影视制作与内容创作:为创作者提供低成本、高效率的数字人视频生成工具,支持复杂的情感表达和肢体语言。
© 版权声明

相关文章