Zyphra 正式发布了 ZONOS3-Mini,一款专为本地设备实时推理设计的开源文本转语音(TTS)模型。该模型采用稀疏混合专家(MoE)架构,总参数量 8 亿,但在每次推理时仅激活约 1 亿参数。其权重基于 Apache 2.0 协议开源,支持零样本声音克隆及词级表达控制,能够在浏览器、笔记本电脑乃至服务器 GPU 等多种环境中运行。
- GitHub:https://github.com/Zyphra/ZONOS3-Mini
- 模型:https://huggingface.co/Zyphra/ZONOS3-Mini

核心规格与性能指标
ZONOS3-Mini 的设计目标是在保持前沿音质的同时大幅降低计算开销。以下是其关键技术指标:
| 指标维度 | 具体参数/表现 |
|---|---|
| 模型规模 | 总参数 800M;激活参数约 100M(64 个专家,Top-2 路由)。 |
| 上下文与时长 | 支持 32,768 位置上下文;单次生成最长支持 10 分钟音频。 |
| 首字延迟 (TTFA) | 单块 H100 并发 8 请求时中位值 80 ms;Pixel 9 浏览器端低于 570 ms;M3 MacBook Air 低于 150 ms。 |
| 吞吐量 | 单块 H100 峰值吞吐量达每秒 457 秒音频。 |
| 基准排名 | 在 Zyphra 自研的 ZTTS2-Eval Capability Index 上,开放模型排名第一(得分 66.2)。 |
架构演进与技术细节
作为 ZONOS2(8B 参数,86 Hz 编解码器)的继任者,ZONOS3-Mini 通过以下三层技术栈的革新实现了轻量化部署:
- 新一代音频编解码器 (ZAC-1)
Zyphra 训练了 Zyphra Audio Codec 1 (ZAC-1) 以替代原有的 Descript Audio Codec。ZAC-1 运行频率为 15 Hz,包含 10 个码本(每个条目 4,096 个),其中 1 个用于语义,9 个用于声学。据官方数据,在相似的数据约束下,其词错误率(WER)较 DAC 降低了 10 倍。此外,因果 iSTFT 头确保了每帧生成时能立即渲染为 44.1 kHz 音频。 - 混合 MoE 骨干网络
模型包含 11 层,模型维度为 1,024。其序列混合遵循 3:1 的比例,由 9 个 Gated DeltaNet 层和 2 个全局注意力层组成。架构中还引入了潜在 MoE、Q 平衡以及注意力残差机制,以优化推理效率。 - 说话者编码器升级
声音表示模块从 Qwen3-TTS 说话者编码器迁移至 MECT-B2。模型支持输入最长 60 秒的原始参考片段,或直接使用单个 192 维说话者嵌入向量。在后训练阶段,采用了 DPO(直接偏好优化) followed by GRPO(组相对策略优化)以提升模型的鲁棒性。
细粒度语音控制能力
ZONOS3-Mini 提供了多维度的语音控制接口:
- 身份控制:通过说话者嵌入向量和口音任务向量,可覆盖年龄、性别、口音及声音纹理等特征。
- 表达控制:利用激活引导技术,可调节节奏、情感、投射力度及活泼度。
- 词级对齐:学习到的对齐头允许在流式传输过程中,将特定的表达引导应用于指定词汇。
- 后期编辑:提供了一个基于 VoiceCraft 配方的独立编辑模型,支持在音频生成后对句子进行修改。
基准测试表现与局限性
Zyphra 使用其新构建的 ZTTS2-Eval 基准对模型进行了评估,该基准涵盖 35 种语言的干净朗读语音及 20 种语言的野外录音,并通过项目反应理论在 420 个项目上计算 Capability Index。
- 优势表现:在说话者嵌入模式下,ZONOS3-Mini 得分为 66.2,领先于 Fish Audio S2 Pro (61.7) 和 MOSS-TTS v1.5 (60.2)。在干净数据集上,其 WER 为 7.79,说话者相似度为 83.4。
- 注意事项与局限:所有基准数据均由 Zyphra 自行运行并报告。在参考片段克隆模式下,其指数得分降至 44.7。此外,在干净集 MSR-UTMOS 质量评分中,ZONOS3-Mini 得分为 3.07,略低于 Fish S2 Pro (3.16) 和 Qwen3-TTS 1.7B (3.54)。

开发者部署路径
根据 GitHub 仓库说明,开发者可通过以下四种官方路径部署 ZONOS3-Mini:
- 浏览器端:通过 WebGPU 游乐场直接在用户 GPU 上运行,无需安装额外软件或依赖服务器。
- NVIDIA 服务器:使用 SGLang-Omni 提供兼容 OpenAI
/v1/audio/speech端点的服务,支持流式传输。 - 原生环境:Apple Silicon 设备可使用 MLX 服务器;CPU、CUDA、Metal 或 Vulkan 环境可使用 C++/ggml 服务器及 CLI 工具。
- 云端托管:通过 Zyphra Cloud 在 NVIDIA H200 集群上获取托管服务。
© 版权声明
文章版权归作者所有,未经允许请勿转载。







![黑森林实验室正式发布图像编辑模型FLUX.1 Kontext [dev]](https://pic.sd114.wiki/wp-content/uploads/2025/06/1750964036-1750964036-FLUX.1-Kontext-2.webp)







