FreeToken 最新版

FreeToken 是一个革命性的边缘原生混合专家（MoE）服务引擎，由加州大学伯克利分校和德克萨斯大学奥斯汀分校的研究团队开发。它打破了“运行前沿大模型需要数据中心集群”的传统假设，通过将个人机器上的异构资源（GPU、CPU、内存、互连带宽）视为一个统一的弹性推理平台，实现了在消费级硬件上高效运行超大规模开放权重模型的目标。

• 官网：https://www.flashml.ai
• GitHub：https://github.com/FlashML-org/FreeToken

其最惊人的成就包括：在 8GB 显存的笔记本电脑 GPU 上以交互速度运行 35B 模型，在游戏台式机上运行 284B 模型，甚至在单张工作站显卡上运行高达 753B 参数的 GLM-5.2。

核心突破：解决 MoE 本地化的三大痛点

现有的推理引擎（如 llama.cpp, Ollama, KTransformers）在处理 MoE 模型时面临预填充慢、解码流量分配不均以及 CPU 带宽瓶颈等问题。FreeToken 通过三种创新机制解决了这些难题：

1. 带宽自适应执行 (q 策略)*：
   • 动态拆分：不再固定地将所有专家卸载到 CPU 或 GPU，而是根据实测的 PCIe 带宽 ($B_P$) 和主机内存带宽 ($B_H$) 动态计算最优拆分比例。
   • 并行计算：部分专家在 GPU 缓存中计算，其余在 CPU 上就地计算，最后精确合并结果。这充分利用了 DMA 传输和 CPU 执行共享主机内存子系统的特性，避免了 PCIe 链路饱和导致的等待。
2. 语义感知缓存 (Semantic-Aware Caching)：
   • 智能检查点：在预填充期间，利用全层双缓冲流式传输。更重要的是，它将循环状态和 KV 缓存的检查点锚定在特殊的 Token 边界（如思考块、工具调用处）。
   • 避免冗余重算：当代理编辑上下文（如修改工具输出）时，只需重新预填充新的后缀，而非整个历史，极大提升了代理工作流的效率。
   • 全局 LRU 专家缓存：在解码期间，缓存跟随路由器动态变化，而非静态固定，显著降低了专家读取的缺失率（相比 KTransformers 降低至 16%）。
3. 弹性内存管理：
   • 动态重分配：支持在专家缓存和 KV 内存之间进行运行时 VRAM 重新分配，无需重启引擎或重载权重。
   • 冷启动优化：专家直接从磁盘读取到最终主机布局并固定，首个请求即可在冷缓存下快速服务。

性能表现实测

FreeToken 在多种硬件配置下均展现出超越现有基线（llama.cpp, Ollama, KTransformers）的性能：

注：在代理工作负载中，FreeToken 的解码速度波动控制在单轮速率的 12% 以内，确保了稳定的交互体验。

部署与集成

• 开源许可：Apache-2.0 许可证，完全免费商用。
• 安装方式：
  • PyPI: uv pip install "freetoken[accel]"
  • 桌面应用: 提供 Windows 和 Linux 的一键式安装包 (flashml.ai)。
  • CLI: 面向 Linux x86_64，需 NVIDIA GPU (r580+ 驱动, CUDA 13)。
• API 兼容：通过 ft serve 在端口 1919 暴露 OpenAI 和 Anthropic 兼容端点。
• Agent 集成：使用 ft launch claude 可直接将 Claude Code, Codex, OpenCode 等代理连接到本地 FreeToken 实例。

适用场景

• 独立开发者与初创团队：当代理 Token 费用超过 GPU 硬件成本时，FreeToken 提供了极具性价比的本地替代方案。
• 高隐私/合规行业：医疗、法律、国防、金融等领域，确保数据永不离开本地机器。
• 离线/气隙环境：适用于私有代码审查、离线合同分析、合成数据生成及批量评估任务。