B站 IndexTTS-2.5 全球发布：零样本克隆支持五语种，推理速度提升 2.28 倍

B站 Index 项目组今日正式推出 IndexTTS-2.5，这是其零样本文本转语音（TTS）系统的最新迭代版本。相较于前代产品，IndexTTS-2.5 在保持高保真音色克隆和情感复制能力的基础上，显著扩展了多语言支持范围，并通过架构优化实现了推理速度的大幅跃升。

• 项目主页：https://index-tts.github.io/index-tts2-5.github.io/
• GitHub：https://github.com/index-tts/index-tts
• Hugging Face：https://huggingface.co/IndexTeam/IndexTTS-2.5
• 魔搭：https://modelscope.cn/models/IndexTeam/IndexTTS-2.5

目前，该模型已支持中文、英文、日语、西班牙语和阿拉伯语，并具备细粒度的情感、语速及发音控制能力，为有声书制作、跨语言配音及对话式 AI 提供了更高效的生产力工具。

核心突破：更快、更广、更可控

IndexTTS-2.5 并非简单的参数微调，而是通过四项关键技术改进实现了质的飞跃：

1. 🚀 推理速度提升 2.28 倍

• 语义编解码器压缩：将语义帧率从 50 Hz 降至 25 Hz，使序列长度减半，直接降低了训练和推理的计算负载。
• 架构升级：将 S2M（语义到梅尔谱）模块的骨干网络从 U-DiT 替换为更高效的 Zipformer 架构。这一改动不仅减少了参数量，还显著加快了梅尔谱的生成速度。
• 实测表现：在保持与 IndexTTS-2 相当的词错误率（WER）和说话人相似度的同时，实时因子（RTF）提升了 2.28 倍，更适合大规模生产环境部署。

2. 🌍 五语种零样本情感迁移

• 多语言扩展：新增支持日语、西班牙语和阿拉伯语。
• 跨语言建模策略：提出了边界感知对齐、Token 级拼接和指令引导生成三种策略。这使得模型能够在没有目标语言情感训练数据的情况下，依然实现稳健的情感迁移。例如，可以用中文说话人的声音和情感，流畅地合成英文或阿拉伯语内容。

3. 🎛️ 细粒度可控性

• 发音控制：支持通过拼音（中文）、CMU 音素（英文）和假名（日语）精确控制发音细节。
• 语速调节：提供 duration_factor 参数，支持 0.5 至 2.0 倍的语速灵活调整。
• 情感解耦：支持通过情绪向量、参考音频或基于文本的情绪检测来控制合成语音的情感色彩，实现音色与情感的独立控制。

4. 🧠 GRPO 强化学习优化

• 在 T2S（文本到语义）模块的后训练中应用了组相对策略优化（GRPO），进一步提高了发音的准确性和语音的自然度，减少了机械感。

应用场景与部署

• 适用场景：
  • 零样本克隆：只需一段参考音频即可复刻音色。
  • 跨语言配音：保留原说话人音色，将其转换为另一种语言（如中译英）。
  • 内容创作：有声书、播客制作、游戏 NPC 配音。
  • AI 交互：为虚拟助手提供更具情感和个性的语音反馈。
• 生产部署：支持通过 vLLM 进行高效的生产环境部署，满足高并发需求。

伦理与安全提示

IndexTTS-2.5 虽然功能强大，但项目组也明确了其使用边界：

• 禁止用途：严禁用于未经同意的身份冒充、欺诈、生成误导性内容或任何违反法律法规的行为。
• 局限性：模型不验证说话人身份或授权状态，用户需自行承担伦理使用责任。对于极长或高度复杂的文本，可能会产生少量伪影。