Gradium（一家从 Kyutai 分拆出的巴黎语音 AI 公司）近日正式开源了 Phonon，这是一个专为设备端（On-device）运行设计的超轻量级文本到语音（TTS）模型家族。该模型旨在让开发者能够在无需云端调用、无需 GPU 且无按字符计费的情况下，在各类边缘设备上生成高质量的自然语音。
- GitHub：https://github.com/gradium-ai/xn-ptts
- 模型：https://huggingface.co/gradium
核心架构与技术机制
Phonon 采用因果 Transformer（Causal Transformer）骨干网络。其工作流程经过高度优化：
- 文本处理：使用包含 4,000 个 token 词汇表的 SentencePiece 分词器直接读取原始文本，无需传统的音素转换步骤。
- 特征生成：骨干网络每 80 毫秒帧生成 1 个潜在向量，随后通过流匹配头（Flow Matching Head）在单步中将该向量转化为音频嵌入。
- 音频解码：采用 Kyutai Mimi 解码器的一个较小变体，最终输出 24 kHz 的单声道 PCM 音频，并由独立的语音结束头（EOS Head）决定生成终止时机。
极致的设备端推理速度
Phonon 的核心优势在于其惊人的端侧推理效率，完全摆脱了对 GPU 的依赖：
- MacBook Air (M5 CPU, 4 线程)：首音频延迟仅需 6.9 毫秒，推理速度比实时快 29.9 倍（结合 Arm KleidiAI 和 Apple Accelerate 可达 46.7 倍）。相比之下，Kokoro 需要 517 毫秒且不支持流式输出。
- Raspberry Pi 5：首音频启动时间 38 毫秒，速度比实时快 3.7 倍（Kokoro 在此平台上需 7 秒启动）。
- 移动端与服务器：在 Snapdragon 8 Elite Gen 5 上首音频延迟为 7.5 毫秒；在 NVIDIA L40S 上通过 CUDA 仅需 5 毫秒。
基准测试与性能表现
根据 Gradium 提供的盲测与公开数据集评估，Phonon 在音质和准确性上均表现出色：
- 音质评估 (Elo)：在 1,189 名评分者参与的盲测中，Phonon 40m 获得 2117 分，Phonon 31m 获得 2098 分，均高于 Kokoro (2043)、NeuTTS (2034) 和 Magpie (1939)。
- 复杂文本准确率：在包含电话号码、邮箱和邮编的 500 句困难集上，Phonon 31m 的词错误率（WER）仅为 1.70%，显著优于 Kokoro 的 3.50% 和 NeuTTS Nano 的 8.71%。这主要得益于其强大的内置文本规范化能力。
- 简单文本表现：在 Seed-TTS 简单集上，Phonon 31m 的 LLM WER 为 0.51%，与 Kokoro (0.45%) 处于同一顶尖梯队。
模型矩阵与开源协议
Phonon 家族目前提供三种模型，开发者需根据使用场景注意其许可协议：
- Phonon 31m：仅支持英语，内置 37 种声音。模型大小约 64.5 MB (q8 GGUF)，采用 Apache 2.0 许可证，允许自由商业使用。
- Phonon 40m (单语言)：针对英语、法语、德语、西班牙语、葡萄牙语各有一个独立模型，采用 CC BY-NC 4.0（非商业）许可证。
- Phonon 40m 多语言：单一模型支持上述 5 种语言，包含 102 种声音，同样采用 CC BY-NC 4.0 许可证。
部署与生态兼容
Phonon 提供了极高的工程灵活性，其运行时环境支持 MIT 或 Apache 2.0 许可证。
- 多语言支持：提供 Rust、Python (
pip install ptts)、Swift、C、C++ 的原生绑定，并支持通过phonon-tts在浏览器（WASM/WebGPU）中运行。 - 主流框架兼容：模型权重可直接加载至 Hugging Face Transformers、MLX-Audio、Ollama 和 LM Studio 中。
- 服务端与工具：官方附带了 OpenAI 兼容的 API 服务器和 WebSocket 服务器。此外，开发者可通过 Gradium Studio 进行声音克隆与设计，生成的声音权重可直接在本地运行。
对于需要在移动端、IoT 设备或隐私敏感场景中实现高质量、低延迟语音合成的开发者而言，Phonon 31m 凭借其极小的体积、Apache 2.0 的宽松协议以及卓越的性能，提供了一个极具吸引力的开源解决方案。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
