oMLX 最新版

oMLX 是一款专为 Apple Silicon Mac 设计的原生 LLM 推理服务器与管理工具。它解决了本地运行大模型时在“便利性”与“可控性”之间的权衡难题，通过独特的分层 KV 缓存（热 RAM + 冷 SSD）技术和连续批处理能力，让本地 LLM 在配合 Claude Code 等 AI 编程助手进行长上下文编码任务时变得真正可用且高效。

• 官网：https://omlx.ai
• GitHub：https://github.com/jundot/omlx

核心亮点

• 🧠 分层 KV 缓存 (Hot/Cold Cache)：
  • 热缓存 (RAM)：频繁访问的上下文块保留在内存中，实现极速读取。
  • 冷缓存 (SSD)：当内存满载时，上下文块以 safetensors 格式转存至 SSD。下次请求命中相同前缀时，直接从磁盘恢复，无需重新计算。即使服务器重启，历史上下文依然保留，极大提升了长对话和代码库理解的效率。
• ⚡ 连续批处理 (Continuous Batching)：
  • 基于 mlx-lm 的 BatchGenerator，支持并发处理多个请求，最大化 GPU 利用率。
  • 针对 Claude Code 优化：支持上下文缩放上报，触发自动压缩机制，并通过 SSE keep-alive 防止长时间预填充导致的超时。
• 🖥️ 原生 macOS 体验：
  • 菜单栏应用：基于 Swift/SwiftUI 构建（非 Electron），轻量且响应迅速。支持一键启停服务、实时监控、崩溃自动重启及 Sparkle 自动更新。
  • Web 管理后台：提供 /admin 界面，支持多语言（含中文）、模型下载、基准测试、聊天调试及详细配置。完全离线可用，无 CDN 依赖。
• 🤖 全模型类型支持：
  • 支持文本 LLM、视觉语言模型 (VLM)、OCR 模型（如 DeepSeek-OCR, GLM-OCR）、嵌入模型及重排序模型。
  • VLM 支持多图聊天、Base64/URL/文件输入及带视觉上下文的工具调用。

智能模型管理

• 多模型并发服务：在同一服务器中加载多种类型的模型，通过 OpenAI 兼容接口统一暴露。
• 自动化资源调度：
  • LRU 驱逐：内存不足时自动卸载最近最少使用的模型。
  • 模型固定：可将常用模型锁定在内存中，避免频繁加载。
  • TTL 控制：为每个模型设置空闲超时，不活动时自动卸载以释放资源。
  • 内存保护：默认限制总内存使用量为 系统 RAM - 8GB，防止系统级 OOM。
• 模型别名与配置文件：
  • 支持为模型设置自定义 API 名称。
  • 配置文件叠加：可为同一基础模型创建不同的配置组合（如 qwen3-8b:thinking），无需额外内存即可切换采样参数或模板。

广泛的集成与兼容性

• API 兼容：完美替代 OpenAI 和 Anthropic API，支持流式统计、Adaptive Thinking 及视觉输入。
• 一键集成：在管理后台可直接配置 OpenClaw, OpenCode, Codex, Hermes Agent, Copilot 和 Pi 等主流 AI 工具，无需手动编辑配置文件。
• 工具调用支持：自动检测并适配 Llama, Qwen, DeepSeek, Gemma, GLM, Mistral 等多种模型的工具调用格式（JSON/XML/Namespaced）。

快速开始

1. 安装：从 Releases 下载 .dmg 文件，拖入 Applications 文件夹。
2. 启动：打开 oMLX 应用，跟随向导设置模型目录并启动服务器。
3. 连接：
   • CLI：omlx serve --model-dir ~/models
   • API：连接至 http://localhost:8000/v1
   • Web UI：访问 http://localhost:8000/admin/chat