
Molten 是一款专为 Apple Silicon 架构定制的原生推理引擎,旨在高效运行 LiquidAI LFM2.5-24B-A2B 模型(240亿参数,20亿激活参数的推理与编码智能体模型)。该引擎将官方提供的 4-bit 量化检查点封装为单一的可执行文件,在保持数学计算精度与官方基准一致的前提下,显著降低了端侧推理的延迟与资源开销。

核心工程特性
- 高吞吐与低延迟:在 M5 Max 芯片上,解码速度可达 300+ tok/s。在 256 至 128K token 的上下文窗口中,其解码速度比 mlx-lm 快 1.45 至 1.6 倍,比 llama.cpp 快 1.3 至 1.5 倍,且首个 token 生成时间(TTFT)更短。
- 零运行时依赖:纯 Rust 与 Metal 编写,编译后二进制文件仅约 6 MB。它仅链接 macOS 系统框架,完全剥离了 Python、PyTorch 或 MLX 等重型运行时环境。
- 开箱即用的交互接口:提供命令行工具(CLI)、交互式聊天界面以及兼容 OpenAI API 的本地服务器,原生支持流式输出、思维链(reasoning)输出与工具调用(tool calls)。
- 计算忠实度:底层数学运算与 mlx-lm 保持严格一致,并经过逐 token 级别的校验。在 MATH-500 和 IFEval 基准测试中,得分与 LiquidAI 官方发布的数据高度吻合。
环境要求与安装部署(核心重点)
正确的环境配置是引擎正常运行的前提。请严格按照以下步骤完成安装与初始化。
1. 硬件与系统前置要求
- 处理器:M5 系列 Mac(M5、M5 Pro、M5 Max)。不支持 M1 至 M4 系列。
- 内存:24 GB 或更高。
- 操作系统:macOS 26 或更新版本。
2. 预编译二进制与模型下载
通过终端执行以下命令,下载最新版本的预编译二进制文件及对应的 4-bit 模型权重:
# 下载并解压二进制文件
curl -L https://github.com/zhangshuibai/molten/releases/latest/download/molten-macos-arm64.tar.gz | tar xz
cd molten-macos-arm64
# 下载 LiquidAI 官方 MLX 4-bit 检查点到本地目录
huggingface-cli download LiquidAI/LFM2.5-24B-A2B-MLX-4bit \
--revision 667408d494bde191c2cb9dd4f4549827816b9275 --local-dir ~/models/lfm2.5
注意:若通过网页浏览器下载了归档文件,macOS 可能会施加下载隔离保护。在运行前,需在终端执行 xattr -d com.apple.quarantine molten 以解除隔离。
3. 源码构建(可选)
若需从源码编译,请确保系统已安装 Rust 1.92 或更高版本。在克隆的仓库根目录下执行:
cargo build --release
编译生成的二进制文件位于 target/release/molten。
4. 基础运行命令
# 启动交互式聊天界面
./molten chat --model ~/models/lfm2.5
# 执行单次推理任务
./molten run --model ~/models/lfm2.5 --prompt "Write a quicksort in Rust."
# 启动 OpenAI 兼容的本地 API 服务器(默认端口 8080)
./molten serve --model ~/models/lfm2.5 --port 8080
5. Python 客户端调用示例
启动服务器后,任何兼容 OpenAI SDK 的客户端均可直接调用:
from openai import OpenAI
# 初始化客户端,指向本地 Molten 服务
client = OpenAI(base_url="http://127.0.0.1:8080/v1", api_key="none")
resp = client.chat.completions.create(
model="lfm2.5",
messages=[{"role": "user", "content": "What is 17 * 23?"}]
)
print(resp.choices[0].message.content)
注:模型的推理过程内容将通过 reasoning_content 字段返回,工具调用则通过标准的 OpenAI tool_calls 结构返回。采样参数默认遵循模型卡的推荐设置。
性能基准与架构优化机制
Molten 的性能优势源于其“单一模型、单一 GPU、单一序列”的专注设计,这使得它能够执行通用框架无法实现的底层优化。
1. 性能对比数据
在 Apple M5 Max(128 GB 内存)环境下,处理单序列 128 个解码 token 的测试结果如下(TPS 为每秒解码 token 数,TTFT 为首个 token 生成时间):
| 上下文长度 | TPS (Molten / MLX-LM / llama.cpp) | TTFT (Molten / MLX-LM / llama.cpp) |
|---|---|---|
| 256 | 305 / 190 / 199 | 60 ms / 67 ms / 70 ms |
| 1K | 300 / 189 / 196 | 128 ms / 147 ms / 201 ms |
| 4K | 285 / 184 / 189 | 395 ms / 464 ms / 859 ms |
| 16K | 248 / 165 / 172 | 1.76 s / 2.17 s / 4.20 s |
| 64K | 168 / 116 / 126 | 10.5 s / 12.2 s / 25.2 s |
| 128K | 119 / 82 / 90 | 28.1 s / 32.4 s / 72.7 s |
在端到端测试中(1K token 提示词 + 512 个生成 token),Molten 耗时 1.84 秒,而 mlx-lm 耗时 2.77 秒,llama.cpp 耗时 2.81 秒。
2. 核心架构优化
- 模型特定内核融合:将细粒度的算子链合并为单一内核执行。例如:归一化 (norm) + 路由 (router) + Top-4 专家选择、专家前馈网络 (FFN) + 加权组合、Q/K 归一化 + RoPE + 注意力机制、语言模型头 (LM head) + argmax。此举使每个 token 的 GPU 调度开销减少约 30%。
- GPU 驻留解码循环:生成的 token 直接在 GPU 上馈送至下一步计算。CPU 仅负责提前编码步骤,确保 GPU 保持 99% 的高负载状态,避免数据在 CPU 与 GPU 之间频繁搬运。
- 固定形状内核:所有维度均作为编译时常数处理。量化矩阵-向量内核能够以接近内存带宽物理极限的速度,流式传输 4-bit 权重。
- 快速预填充:预填充内核充分利用 M5 GPU 的矩阵计算单元。对于共享 KV 头的查询头,系统会复用其 K/V 瓦片,减少冗余计算。
构建方法论与准确性验证
1. 递归自我改进(RSI)构建循环
Molten 的底层代码由 AI 编码智能体(基于 Pi 智能体框架的 DeepSeek V4.1 Flash)在递归自我改进循环中编写完成。其工作流如下:
- 智能体从当前最佳引擎版本出发,结合历史反馈修改 Rust 和 Metal 代码。
- 执行构建并检查代码。
- 固定评估器从源码重建结果,对照 mlx-lm 逐 token 校验输出正确性。
- 在十个不同的上下文长度下,对两个引擎进行计时与运行时性能分析。
- 仅当新引擎在保证正确性且速度更快时,才会替换当前最佳版本。所有计时、分析及拒绝原因均作为反馈输入下一轮会话。
整个优化周期耗时不到六天。首个正确引擎在 3 小时内达到 mlx-lm 0.56 倍的速度;第 2.5 天实现反超;第 5.7 天达到端到端 1.28 倍的性能(解码速度 1.53 倍,突破 300+ tok/s)。最后一轮由 Claude 协调并行子智能体,对每个内核进行深度分析与解码路径融合,所有更改均经过逐位验证。整个过程的 API 调用成本约为 21 美元(处理 13.6 亿 token,其中 98.6% 为缓存命中)。
2. 准确性验证
在 LiquidAI 模型卡指定的两个基准测试中(使用温度 0.6,最大输出 32768 token,在 200 个问题的随机子集上运行),Molten 的表现与官方 BF16 精度数据高度一致:
- MATH-500:Molten (MLX 4-bit) 达到 95.5%,LiquidAI (vLLM, BF16) 为 96.04%。
- IFEval(提示级,严格):Molten 达到 96.0%,LiquidAI 为 96.75%。
此外,在 1 到 131K token 的公共和留出提示词测试中,引擎均通过了教师强制(Teacher-forcing)一致性检查,贪婪解码生成的 token 除极个别平局情况外完全一致。
适用边界与已知限制
在实际工程落地时,需明确 Molten 当前的适用边界:
- 硬件与系统限制:仅支持 M5 系列 Mac(M5、M5 Pro、M5 Max),需配备 24 GB 及以上统一内存,且操作系统需为 macOS 26 或更高版本。
- 模型支持单一:当前仅支持
LiquidAI/LFM2.5-24B-A2B-MLX-4bit(修订版 667408d4)这一特定模型。 - 并发与上下文限制:引擎设计为一次仅服务一个序列。并发请求将被排队处理,不支持批处理(Batching)。最大上下文长度限制为 131,072 个 token。
相关导航


Inference.net

超算互联网平台

Gufo

DeepSeek API

New API

Clarifai






