RunAnywhere

RunAnywhere 是一套面向移动开发者的设备端 AI SDK，支持在 iOS 和 Android 上本地运行大语言模型（LLM）、语音识别（STT）和语音合成（TTS）——全程无需联网、不依赖云端、数据不出设备。

无论是构建离线聊天机器人、语音助手，还是需要隐私保护的智能功能，RunAnywhere 都能提供低延迟、高安全、零 API 成本的解决方案。

核心能力

• LLM 聊天
  支持 Llama、Mistral、Qwen、SmolLM 等主流开源模型（GGUF 格式），流式生成文本，完全在设备上运行。
• 语音转文本（STT）
  基于 Whisper 的本地语音识别，支持实时流式转录与批量处理，多语言可用。
• 文本转语音（TTS）
  提供神经网络语音合成（如 Piper、Sherpa-ONNX）与系统原生语音，支持音调、语速、音量调节。
• 完整语音助手流程
  从语音唤醒（VAD）→ 语音识别（STT）→ 语言模型推理（LLM）→ 语音播报（TTS），形成闭环，全部离线完成。

关键优势：无网络请求、无 API 密钥、无数据上传。一旦模型下载完成，即使在飞行模式下也能正常工作。

多平台 SDK 支持

所有 SDK 均采用模块化设计：你只需引入所需功能（如仅用 LLM 或仅用 STT），避免应用体积膨胀。

示例应用：RunAnywhere Example

官方提供了一个完整的示例应用（RunAnywhere Example），用于演示 SDK 的实际集成效果，包含：

1. 设备端 AI 聊天
   流式响应，模型运行在手机上，无网络依赖。
2. 离线语音转文本
   实时将语音转为文字，适合语音指令、会议记录等场景。
3. 自然语音合成
   本地生成接近真人发音的语音，支持长文本流式播放。
4. 端到端语音助手
   从“听到语音”到“说出回答”，全程在设备内完成，延迟低、响应快。
5. 模型管理界面
   展示如何在应用内安全下载、缓存、切换多个 AI 模型。
6. 生产级参考代码
   所有功能均以清晰、可复用的方式实现，可直接用于商业项目。

为什么选择设备端 AI？

• 更快：省去网络往返，响应几乎即时
• 更私密：音频、文本、对话记录永不离开设备
• 更可靠：无网、弱网、飞行模式下依然可用
• 更经济：无需支付云端推理费用或维护服务器

对于注重用户体验、数据合规或离线场景的应用（如医疗、教育、工业、个人工具），设备端 AI 正成为越来越重要的技术选项。

技术亮点

• 多后端支持：可选 Llama.cpp（GGUF 模型）或 ONNX Runtime，灵活适配不同模型
• 硬件加速：iOS 上利用 Metal，Android 上利用 GPU/NEON，显著提升推理速度
• 事件驱动架构：通过回调或流（如 Kotlin Flow、Dart Stream）实时更新 UI
• 隐私优先默认：仅收集匿名使用统计，可完全关闭