Rapid-ML

在 Mac 上运行大型语言模型（LLM）已不再新鲜，但速度与兼容性往往是两大痛点。Rapid-MLX 是一个专为 Apple Silicon 优化的本地 AI 引擎，基于 MLX 框架深度定制，旨在提供比 Ollama、llama.cpp 等传统方案更快的推理速度，并完美兼容 Cursor、Claude Code 及任何 OpenAI 兼容的应用程序。

无需云端 API，无订阅费用，数据完全本地化。只需 pip install，即可在你的 Mac 上体验前沿模型的极速推理。

核心亮点：极速、兼容、智能

1. 极致性能：专为 Metal 优化

Rapid-MLX 针对 Apple Silicon 的统一内存架构和 Metal 计算内核进行了深度优化，显著超越通用引擎：

• Qwen3.5-4B：在 16GB MacBook Air 上可达 160 tok/s，流畅如飞。
• Nemotron-Nano 30B：在 32GB+ Mac 上达 141 tok/s，是目前最快的 30B 级别本地模型之一。
• 对比优势：在 Qwen3.5-9B 测试中，速度比 Ollama 快 2.6 倍，比 mlx-lm 略快或持平，确保最佳用户体验。

2. 无缝集成主流开发工具

• OpenAI 兼容接口：启动后自动暴露 http://localhost:8000/v1 端点。
• 一键配置：
  • Cursor：设置 → Models → OpenAI API Base 指向本地地址。
  • Claude Code：通过环境变量 OPENAI_BASE_URL 直接调用。
  • Aider/LangChain/PydanticAI：原生支持，无需修改代码逻辑。

3. 高级推理特性

• 工具调用 (Tool Calling)：完全兼容 OpenAI 格式，支持 17 种解析器，让本地模型也能执行复杂任务。
• 思维链分离：支持 reasoning_content 字段，清晰展示模型的推理过程，便于调试与分析。
• 提示缓存 (Prompt Caching)：跨请求持久化缓存，首字延迟 (TTFT) 降低 10-30 倍，大幅提升多轮对话效率。
• 多模态支持：集成视觉、音频、视频理解及文本嵌入能力。

4. 智能云路由

对于超出本地显存限制的超长上下文请求，Rapid-MLX 支持自动路由到云端 LLM，实现本地与云端的无缝 hybrid 体验。

你的 Mac 能跑什么？

快速开始：三步启动

1. 安装

推荐使用 Homebrew 以避免 Python 版本冲突：

brew install raullenchai/rapid-mlx/rapid-mlx
# 或者使用 pip
pip install rapid-mlx

2. 启动服务

以运行 Qwen3.5-4B 为例：

rapid-mlx serve qwen3.5-4b

首次运行会自动下载模型权重，等待终端显示 Ready: http://localhost:8000/v1。

3. 测试连接

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"default","messages":[{"role":"user","content":"Say hello"}]}'

4. 集成到 Cursor

1. 打开 Cursor 设置。
2. 进入 Models 页面。
3. 添加自定义 OpenAI 模型，Base URL 填入 http://localhost:8000/v1。
4. 开始享受零延迟、零成本的本地 AI 辅助编程！

为什么选择 Rapid-MLX？

• 比 Ollama 更快：针对 MLX 底层优化，挖掘 Apple Silicon 全部算力。
• 比云端更私密：所有数据留在本地，代码、文档绝不外传。
• 比原生更易用：开箱即用的 OpenAI 兼容接口，无需复杂配置。
• 功能更全面：支持工具调用、多模态、缓存等高级特性，不仅是聊天，更是生产力引擎。