Reso-1:基于 Eleven Labs 声音蒸馏的开源情感 TTS 模型

语音模型4个月前发布 小马良
158 0

Decibel Labs 正式开源了 Reso-1,这是一款具有高度表现力、支持流式传输且可在本地运行的文本转语音(TTS)模型。作为其首个语音模型,Reso-1 通过对 Eleven Labs 的 “Adam” 声音进行蒸馏训练而成,旨在解决开源 TTS 朗读平淡无奇的问题,赋予 AI 语音更丰富的情感色彩和副语言特征。

  • GitHub:https://github.com/decibel-hq/reso
  • 模型:https://huggingface.co/decibel-hq/reso1-3b-en

该模型采用 Apache 2.0 许可证,公开了模型权重、GGUF 量化版本以及训练语料库,为开发者提供了一个高质量、可定制的本地语音合成方案。

Reso-1:基于 Eleven Labs 声音蒸馏的开源情感 TTS 模型

核心亮点:内联情感标签控制

Reso-1 的最大特色在于其对**副语言标签(Paralinguistic Tags)**的支持。用户可以直接在文本中嵌入特定标签,精确控制模型在句子中间的情感表达和行为,如大笑、叹息、低语等。

支持的标签:

  • <laugh>:大笑
  • <chuckle>:轻笑
  • <sigh>:叹息
  • <gasp>:倒吸一口气
  • <whisper>:低语
  • <pause>:停顿

示例:

reso: 哦天哪 <laugh> 你真该看看他当时的表情。
reso: <whisper> 别转身,但我觉得那就是她。
reso: <sigh> 好吧。那就按你的方式来。又来了。

技术架构与性能

  • 模型基础:基于 Orpheus 3B 架构,通过 LoRA 微调 Llama-3 主干网络,实现自回归生成音频令牌。
  • 音频解码:使用 SNAC 神经编解码器以 24 kHz 采样率解码音频,确保高保真输出。
  • 原生流式传输:采用增量解码技术,7 个音频令牌约等于 85 毫秒帧。在 GPU 环境下,首字延迟(TTFT)可低至 200 毫秒,实现近乎实时的语音交互体验。
  • 训练数据:基于约 25 小时经过严格 ASR 质量控制的表现力单语音英语内容,并开源了包含 16,213 条话语的专用语料库,涵盖音素覆盖、散文、多轮对话及边缘情况测试。

本地部署与运行

Reso-1 提供了灵活的部署选项,适应不同硬件环境:

  1. Apple Silicon (Mac):提供量化后的 GGUF 格式,可通过 llama.cpp 实现近实时运行,适合个人开发者和本地应用集成。
  2. GPU 服务器:提供完整权重,适用于需要高并发或更低延迟的生产环境服务。

注意事项

尽管模型权重和代码已开源,但 Decibel Labs 指出目前仍处于研究预览阶段。由于训练数据涉及实验性内容,官方声明权重未经许可不得用于再分发或生产用途。这意味着虽然你可以自由下载和研究,但在商业产品中直接使用前需仔细评估法律风险或联系官方获取授权。

© 版权声明

相关文章