PiVo:全套仅 140 万参数英文 TTS,含声码器,ONNX+CPU 离线推理,无重型框架依赖

语音模型13小时前发布 小马良
6 0

Empero AI 推出科研向轻量英文语音合成模型 PiVo,核心目标探索一套完整 TTS(文本→波形,声学模型 + 声码器全部计入)的参数下限。整套可学习参数合计仅 140 万,对比作为教师模型的 Qwen3-TTS(17 亿参数)规模缩小约 1200 倍。内置两个固定音色:女声 Pi、男声 Vo,无音色克隆能力。

  • 模型:https://modelscope.cn/models/empero-ai/PiVo-1.4M

整套链路分为规则文本前端、58 万参数声学模型、81 万参数改造版 FARGAN 声码器,全部导出为 ONNX 文件。推理仅依赖 ONNX Runtime 与 NumPy,不需要 PyTorch、对齐器、说话人编码器,全程 CPU 离线、支持流式输出音频,输出 16kHz 单声道音频。

技术架构与核心特性

  • 极致轻量化与完整链路:模型总计仅 140 万可学习参数(包含 58 万参数的声学模型与 81 万参数的 FARGAN 衍生声码器),相比传统百亿级大模型缩小了上千倍,且统计口径包含了从文本到波形的全部环节。
  • 零重型依赖的纯 CPU 推理:模型导出为 ONNX 格式,仅需 NumPy 和 ONNX Runtime 即可运行。推理阶段完全剥离了 PyTorch、教师模型、音色编码器或网络连接,支持流式音频输出,极大降低了部署门槛。
  • 规则优先的透明文本前端:采用确定性规则处理数字、日期等,并严格依赖发音词典。对于未收录的生词,模型不会强行“幻觉”读音,而是抛出异常交由用户手动指定,确保了发音错误的透明化与可控性。
  • 高度可复现性:ONNX 导出文件与原始训练模型输出在数值上几乎完全对齐,不同部署环境下表现一致,且生成的音频无信号削波或爆音问题。

性能表现与已知局限

  • 高可懂度与音质妥协:在测试集上,PiVo 生成的语音文字错误率(WER)低至 0.532%,单词发音清晰准确。但受限于极小的参数量,部分句子仍带有明显的金属感或机械感,声音自然度存在妥协。
  • 功能边界明确:目前仅提供 Pi(女声)和 Vo(男声)两种固定音色,不支持语音克隆或其他语种;单次生成限制在 30 秒以内。此外,官方未公开完整训练数据集,外部仅能复现推理过程而非完整训练流程。

典型应用场景

  1. 边缘计算与离线设备:适用于对音质要求不高但需严格离线、低算力的物联网设备或本地小工具,提供隐私安全的英文播报能力,无需依赖云端 API。
  2. AI 科研基线:为语音合成领域提供了一个完整可运行的极小尺寸基准,帮助研究者探索哪些 TTS 能力必须依赖大模型,哪些可通过百万级参数的小模型实现。
  3. 开源学习与二次开发:代码体量小且脱离重型框架,是开发者学习完整 TTS 全链路实现的优秀教材,也可作为进一步拓展音色或优化自然度的轻量级起点。
© 版权声明

相关文章