FreeToken
FreeToken

FreeToken 最新版

官方版无广告272

FreeToken 是一个边缘原生混合专家(MoE)服务引擎,专为在个人和消费级硬件上运行前沿规模的开放权重模型而设计。它将异构边缘资源——GPU、CPU、主机内存和互连——视为一个统一的、弹性的推理平台。

更新日期:
2026年8月24日
语言:
中文
平台:

5.63MB2 人已下载 手机查看

FreeToken 是一个革命性的边缘原生混合专家(MoE)服务引擎,由加州大学伯克利分校和德克萨斯大学奥斯汀分校的研究团队开发。它打破了“运行前沿大模型需要数据中心集群”的传统假设,通过将个人机器上的异构资源(GPU、CPU、内存、互连带宽)视为一个统一的弹性推理平台,实现了在消费级硬件上高效运行超大规模开放权重模型的目标。

  • 官网:https://www.flashml.ai
  • GitHub:https://github.com/FlashML-org/FreeToken
FreeToken

其最惊人的成就包括:在 8GB 显存的笔记本电脑 GPU 上以交互速度运行 35B 模型,在游戏台式机上运行 284B 模型,甚至在单张工作站显卡上运行高达 753B 参数的 GLM-5.2。

核心突破:解决 MoE 本地化的三大痛点

现有的推理引擎(如 llama.cpp, Ollama, KTransformers)在处理 MoE 模型时面临预填充慢、解码流量分配不均以及 CPU 带宽瓶颈等问题。FreeToken 通过三种创新机制解决了这些难题:

  1. 带宽自适应执行 (q 策略)*:
    • 动态拆分:不再固定地将所有专家卸载到 CPU 或 GPU,而是根据实测的 PCIe 带宽 ($B_P$) 和主机内存带宽 ($B_H$) 动态计算最优拆分比例。
    • 并行计算:部分专家在 GPU 缓存中计算,其余在 CPU 上就地计算,最后精确合并结果。这充分利用了 DMA 传输和 CPU 执行共享主机内存子系统的特性,避免了 PCIe 链路饱和导致的等待。
  2. 语义感知缓存 (Semantic-Aware Caching):
    • 智能检查点:在预填充期间,利用全层双缓冲流式传输。更重要的是,它将循环状态和 KV 缓存的检查点锚定在特殊的 Token 边界(如思考块、工具调用处)。
    • 避免冗余重算:当代理编辑上下文(如修改工具输出)时,只需重新预填充新的后缀,而非整个历史,极大提升了代理工作流的效率。
    • 全局 LRU 专家缓存:在解码期间,缓存跟随路由器动态变化,而非静态固定,显著降低了专家读取的缺失率(相比 KTransformers 降低至 16%)。
  3. 弹性内存管理:
    • 动态重分配:支持在专家缓存和 KV 内存之间进行运行时 VRAM 重新分配,无需重启引擎或重载权重。
    • 冷启动优化:专家直接从磁盘读取到最终主机布局并固定,首个请求即可在冷缓存下快速服务。

性能表现实测

FreeToken 在多种硬件配置下均展现出超越现有基线(llama.cpp, Ollama, KTransformers)的性能:

硬件环境模型FreeToken 性能对比基线提升
RTX 5090Qwen3.6-35B-A3B (BF16)77–83 tok/s1.5–2.3 倍于最强基线
RTX 5090DeepSeek-V4-Flash (MXFP4)22–25 tok/s尾部 TTFT < 44s (基线高达 946s)
RTX 4060 (8GB)Qwen3.6-35B (NVFP4)39.3 tok/s高于 Codex生产中位解码速度 (33 tok/s)
RTX PRO 6000GLM-5.2 (753B)14.9 tok/s2 倍于 llama.cpp (7.3 tok/s)

注:在代理工作负载中,FreeToken 的解码速度波动控制在单轮速率的 12% 以内,确保了稳定的交互体验。

部署与集成

  • 开源许可:Apache-2.0 许可证,完全免费商用。
  • 安装方式:
    • PyPI: uv pip install "freetoken[accel]"
    • 桌面应用: 提供 Windows 和 Linux 的一键式安装包 (flashml.ai)。
    • CLI: 面向 Linux x86_64,需 NVIDIA GPU (r580+ 驱动, CUDA 13)。
  • API 兼容:通过 ft serve 在端口 1919 暴露 OpenAI 和 Anthropic 兼容端点。
  • Agent 集成:使用 ft launch claude 可直接将 Claude Code, Codex, OpenCode 等代理连接到本地 FreeToken 实例。

适用场景

  • 独立开发者与初创团队:当代理 Token 费用超过 GPU 硬件成本时,FreeToken 提供了极具性价比的本地替代方案。
  • 高隐私/合规行业:医疗、法律、国防、金融等领域,确保数据永不离开本地机器。
  • 离线/气隙环境:适用于私有代码审查、离线合同分析、合成数据生成及批量评估任务。

相关软件

混元球

混元球 - 最新版

混元球(HunyuanBall)是一款在 Windows 10/11 上本地运行的翻译服务工具,基于腾讯开源的 Hunyuan-MT-1.5-1.8B GGUF 模型,通过 llama-server 提供 OpenAI 兼容 API,并内置 WebUI 界面。专为需要离线、私有、高效翻译的用户设计。
OpenDroid

OpenDroid - 最新版

OpenDroid 是一款革命性的开源 Android 应用,它将智能手机从被动的工具转变为主动的智能代理。不同于传统的聊天机器人,OpenDroid 能够理解复杂的自然语言指令,自主规划任务步骤,执行设备操作,并在遇到障碍时动态调整策略。