ElevenLabs 发布 Dubbing v2:首次实现跨语言情感与表演保留,直接基于原始音频建模而非文本转录,支持 90+ 语言自然配音

早报5个月前发布 小马良
207 0

ElevenLabs 正式发布了其革命性的全新 AI 配音模型 —— Dubbing v2。这是业界首次实现将原说话人的情感、语调、节奏及表演意图完整传递到每一种目标语言中。通过直接基于原始表演进行条件建模,Dubbing v2 彻底解决了 AI 配音领域长期存在的“平淡、脱节”难题,让翻译后的语音听起来就像原说话人真的用该语言说过这句话。

  • 地址:https://elevenlabs.io/zh/dubbing-studio

核心突破:保留原始表演的灵魂

1. 超越文本转录

  • 传统痛点:传统 AI 配音依赖“语音转文本 -> 翻译 -> 文本转语音”流程,导致情感、时机、重音和细微的语气差别丢失。
  • Dubbing v2 方案:直接对原始音频表演进行条件建模,捕捉说话人的独特音色、情绪起伏和表达习惯,并将其迁移至目标语言。

2. 90+ 语言的自然交付

  • 同步感知翻译:系统自动调整翻译后的措辞、节奏和句子结构,以适配目标语言的口语习惯,同时保持与原始视频的口型和时间轴同步。
  • 减少手动调整:自动生成开始、停止和节奏对齐的高质量音频,大幅降低后期编辑需求。

应用场景:赋能全球内容分发

1. 面向创作者:一键视频本地化

  • ElevenCreative 集成:在平台内即可一键为 YouTube 及其他视频内容生成多语言配音。
  • 保留个性:确保视频在不同语言中仍保留原创作者的个人魅力和表达风格,助力全球粉丝增长。
  • 合作伙伴计划:符合条件的创作者可享受 Dubbing v2 折扣权益。

2. 面向营销团队:规模化campaign本地化

  • 情感一致性:广告、产品视频和品牌内容在多语言版本中保持相同的情感冲击力和品牌调性。
  • 高效工作流:无需协调翻译、配音演员和音频工程师,ElevenCreative 提供端到端的本地化解决方案。

3. 面向工作室与广播公司:专业级制作流程

  • ElevenProductions 服务:结合人工翻译、专家选角和专业混音,Dubbing v2 负责底层语音生成与同步。
  • 可扩展性:为大型媒体机构提供可规模化、专业级的多语言制作能力。

免费体验与接入

  • 即时可用:Dubbing v2 现已在 ElevenCreative 和 ElevenProductions 上线。
  • 免费额度:
    • 免费计划:7 天内获得 1 分钟 免费使用额度。
    • Starter 计划:获得 15 分钟 额度。
    • Creator+ 计划:获得 30 分钟 额度。
  • API 访问:即将推出,企业用户可联系销售团队获取更多信息。

对于希望拓展全球受众的内容创作者和企业而言,Dubbing v2 提供了一个前所未有的高效、高质量且低成本的本地化解决方案。立即尝试,让你的声音无国界地触动世界!

© 版权声明

相关文章