audio.cpp最新版

audio.cpp 是一个基于 ggml 构建的 C++ 音频推理框架，旨在解决 Python 音频生态中环境配置复杂、依赖冲突频发的问题。它提供了一个共享的原生运行时，支持在 Windows、Linux 和 macOS 上高效运行现代音频模型，涵盖 NVIDIA CUDA、AMD HIP/ROCm、Apple Metal 以及纯 CPU 后端。

核心亮点

• 🚀 极致性能：
  • CUDA 加速：多个 TTS 路径比 Python 参考实现快 1.8-8 倍，端到端延迟降低 45%-85%。
  • GGUF 优化：支持 Q8/Q4 等量化格式，峰值显存降低约 37%，推理速度最高提升 1.53 倍。
  • 实时生成：Supertonic 3 在 RTX 5090 上可达实时的 200 倍以上；VibeVoice 1.5B 生成速度约为实时的 5.15 倍。
• 🌍 广泛兼容：
  • 支持 49+ 个模型家族，涵盖 TTS（文本转语音）、ASR（语音识别）、VC（语音转换）、音乐生成、源分离、VAD 等多种任务。
  • 原生支持 Apple Silicon (Metal) 和 AMD GPU (HIP/ROCm)，摆脱对特定硬件的绑定。
• 🛠️ 生产就绪：
  • 内置去噪、增强、重采样等音频处理工具。
  • 提供嵌入式 WebUI（基于 SvelteKit），无需 Python 即可通过浏览器管理模型、录制音频并执行推理。
  • 支持 Docker 部署及 JSON 流水线定义，便于集成到复杂工作流中。

最新动态 (2026-08-14)

• MiniMax Music 3 预览版：已在 preview/minimax-music-3 分支提供带歌词条件的文本生成音乐功能，欢迎社区测试反馈。
• 版本 0.6 发布：新增 DotTTS, NeuTTS, MuScriptor, MiniMax-H3, SenseVoice 等 5 个模型家族，总计支持 70+ 个模型变体。
• AMD 支持增强：感谢贡献者实现了早期 HIP/ROCm 支持及 Nix 构建支持。

支持的模型概览

快速开始

1. 安装与运行 WebUI

下载预编译二进制文件或从源码构建后，直接启动服务器：

# 启动带有 UI 的服务（CUDA 后端）
audiocpp_server --ui --backend cuda

# 访问 http://127.0.0.1:8080

2. 模型管理

使用内置模型管理器下载 GGUF 格式的模型包：

python tools/model_manager_v2.py --family fish_audio

3. CLI 推理示例

# 执行 TTS 推理
audiocpp_cli --model fish_audio_s2_pro.gguf --text "Hello, world!" --output out.wav