Speech Swift

Speech Swift 是一个面向 Apple Silicon（M 系列及 A 系列芯片）的 AI 语音模型集合，基于 MLX Swift 和 CoreML 构建。它支持在 Mac 和 iOS 设备上完全本地运行语音识别、合成与理解任务，无需连接云端、无需 API 密钥，且数据保留在设备端。

该工具集涵盖了从底层信号处理到高层语义理解的多个环节，适用于语音代理、转录、语音合成等场景。

核心功能模块

1. 语音识别 (STT/ASR)

提供了多种针对不同场景优化的模型：

• 通用识别：Whisper Large-v3 Turbo (CoreML) 和 Qwen3-ASR (支持 52 种语言)，适合离线转录。
• 流式听写：Nemotron Streaming (支持原生标点和大小写) 和 Parakeet TDT (带句末检测)，适合实时交互。
• 多语言覆盖：Omnilingual ASR (Meta wav2vec2)，支持 1,672 种语言，适合处理小众语言需求。

2. 语音合成 (TTS)

满足不同质量和速度需求的合成方案：

• 轻量级合成：Kokoro TTS (82M 参数) 和 Supertonic TTS，体积小，适合在神经引擎上快速运行。
• 高保真与克隆：VoxCPM2 (48kHz) 和 CosyVoice，支持声音克隆和情感控制。
• 长篇生成：VibeVoice TTS，专为播客和有声书设计，支持长达 90 分钟的稳定合成。
• 零样本克隆：Chatterbox 和 OmniVoice，通过少量参考音频复刻音色。

3. 智能代理与理解 (LLM & S2S)

• 端侧 LLM：集成 Qwen3Chat 和 FunctionGemma，后者专为工具调用优化，推理速度较快。
• 语音到语音 (S2S)：Hibiki Zero-3B 支持流式语音翻译，PersonaPlex 提供全双工语音交互。
• 翻译：MADLAD-400 支持 400+ 语言间的互译。

4. 音频增强与创作

• 噪声抑制：DeepFilterNet3，实时去除背景噪音。
• 音源分离：基于 HTDemucs，分离人声、鼓、贝斯等乐器轨道。
• 音乐生成：集成 MAGNeT 和 Stable Audio 3，支持文本生成音乐。
• 音频超分：FlashSR，提升音频采样率和清晰度。

5. 基础感知组件

• 唤醒词 (KWS)：Zipformer 模型，低功耗关键词识别。
• 语音活动检测 (VAD)：Silero 和 FireRedVAD，精准判断说话起止。
• 说话人分离：Pyannote 流水线和 WeSpeaker/CAM++ 嵌入向量。

技术特点

• 本地执行：所有处理均在设备端完成，避免了网络延迟和数据上传风险。
• 硬件适配：深度利用 Apple 的 ANE (神经引擎) 和 GPU，提升能效比。
• 模块化设计：开发者可根据需求选择特定的模型模块集成到 macOS 或 iOS 应用中。