
Ghost in the Droid
Ghost in the Droid (GitD) 是一个开源的 Python 框架,为大语言模型(LLM)代理提供控制真实 Android 和 iOS 设备的“身体”。它通过标准化的工具层读取屏幕、执行点击、滑动和输入操作,让 AI 代理能够像人类一样与手机应用交互。
Rapid-MLX 是一个专为 Apple Silicon 优化的本地 AI 引擎,基于 MLX 框架深度定制,旨在提供比 Ollama、llama.cpp 等传统方案更快的推理速度,并完美兼容 Cursor、Claude Code 及任何 OpenAI 兼容的应用程序。
在 Mac 上运行大型语言模型(LLM)已不再新鲜,但速度与兼容性往往是两大痛点。Rapid-MLX 是一个专为 Apple Silicon 优化的本地 AI 引擎,基于 MLX 框架深度定制,旨在提供比 Ollama、llama.cpp 等传统方案更快的推理速度,并完美兼容 Cursor、Claude Code 及任何 OpenAI 兼容的应用程序。

无需云端 API,无订阅费用,数据完全本地化。只需 pip install,即可在你的 Mac 上体验前沿模型的极速推理。
Rapid-MLX 针对 Apple Silicon 的统一内存架构和 Metal 计算内核进行了深度优化,显著超越通用引擎:
http://localhost:8000/v1 端点。OPENAI_BASE_URL 直接调用。reasoning_content 字段,清晰展示模型的推理过程,便于调试与分析。对于超出本地显存限制的超长上下文请求,Rapid-MLX 支持自动路由到云端 LLM,实现本地与云端的无缝 hybrid 体验。
| Mac 配置 | 推荐模型 | 速度 (tok/s) | 适用场景 |
|---|---|---|---|
| 16 GB (Air/Pro) | Qwen3.5-4B | 160 | 日常聊天、快速编码、工具调用 |
| 32 GB+ (Mini/Studio) | Nemotron-Nano 30B | 141 | 🆕 高速 30B,完美工具支持 |
| 32 GB+ (Mini/Studio) | Qwen3.6-35B | 95 | 256 专家 MoE,262K 长上下文 |
| 64 GB+ (Studio/Pro) | Qwen3.5-35B | 83 | 智能与速度的最佳平衡点 |
| 96 GB+ (Studio/Pro) | Qwen3.5-122B | 57 | 前沿级高密度智能 |
| 128 GB+ (Ultra) | DeepSeek V4 Flash (158B) | 31-56 | 🆕 顶级 MoE,1M 上下文支持 |
推荐使用 Homebrew 以避免 Python 版本冲突:
brew install raullenchai/rapid-mlx/rapid-mlx
# 或者使用 pip
pip install rapid-mlx
以运行 Qwen3.5-4B 为例:
rapid-mlx serve qwen3.5-4b
首次运行会自动下载模型权重,等待终端显示 Ready: http://localhost:8000/v1。
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"default","messages":[{"role":"user","content":"Say hello"}]}'
http://localhost:8000/v1。






