TokenSpeed

随着 Claude Code、Codex、Cursor 等 AI 编程助手从工具演变为基础设施，大模型推理负载发生了根本性变化：超长上下文（50k+ Tokens）、多轮密集交互成为常态。传统推理引擎在应对这类“智能体负载”时，往往难以兼顾单用户响应速度（TPS）与整体吞吐量（TPM）。

LightSeek 基金会发布了 TokenSpeed——一款基于 MIT 协议开源、专为智能体工作负载定制的大语言模型推理引擎。在英伟达 B200 平台上的基准测试显示，TokenSpeed 在多项关键指标上全面领先行业标杆 TensorRT-LLM，尤其在推测解码场景下，推理延迟几乎减半。

核心突破：为何 TokenSpeed 更快？

1. 专为智能体优化的架构设计

TokenSpeed 并非通用引擎的简单修改，而是针对智能体交互特性（长上下文、高并发、低延迟敏感）从头构建：

• 双指标最大化：在保证单用户 70+ TPS（部分场景超 200 TPS）流畅体验的前提下，极致拉升单卡整体吞吐 TPM。
• 真实负载基准：基于 SWE-smith 追踪数据（贴近真实编码智能体流量）进行优化，而非仅依赖传统静态数据集。

2. 编译期 KV 缓存安全校验

引入 C++ 有限状态机 (FSM) 作为控制面核心，将 KV 缓存的状态迁移、复用规则及所有权语义嵌入类型系统。

• 提前拦截错误：在编译期而非运行期强制保障资源安全，彻底解决大模型服务中最易出错的 KV 缓存管理问题。
• 执行面灵活：执行面保留 Python 开发，兼顾迭代效率与开发便捷性。

3. 业界领先的 MLA 内核

针对英伟达 Blackwell 架构，自研高性能 MLA (Multi-Head Latent Attention) 内核：

• 解码加速：将查询序列轴融合进注意力头维度，充分填满张量核心计算矩阵。
• 预填充优化：内置精细化 Softmax 实现，在长上下文场景下表现卓越。
• 生态贡献：该 MLA 内核已被主流推理框架 vLLM 正式采用，证明其通用价值。

4. 异构支持与低开销入口

• 不绑定 NVIDIA：采用可插拔分层内核体系，支持异构加速卡，打破硬件锁定。
• SMG 集成：原生集成 PyTorch SMG (Structured Memory Graph) 组件，打造低开销 CPU 请求入口，显著减少 CPU-GPU 调度切换损耗。
• SPMD 并行建模：采用单程序多数据并行范式，轻量静态编译器自动生成集合通信算子，降低分布式部署复杂度。

性能实测：全面领先 TensorRT-LLM

在 NVIDIA B200 平台上，使用 Kimi K2.5 模型，针对智能体典型负载（批大小 1/4/8/16，带长前缀 KV 缓存）进行对标测试：

💡 最佳配置：在单用户 70+ TPS 场景下，「注意力张量并行 TP4 + MoE 张量并行 TP4」组合表现最优。

核心要点总结

1. 智能体专属：TokenSpeed 是首款专为长上下文、多轮交互智能体负载设计的开源推理引擎。
2. 安全高效：通过 C++ FSM 在编译期强制保障 KV 缓存安全，结合 Python 执行面，兼顾正确性与开发效率。
3. 性能标杆：在 B200 平台上，最小延迟领先 TRT-LLM 9%，高吞吐场景领先 11%，推测解码延迟减半。
4. 生态兼容：自研 MLA 内核已并入 vLLM，支持异构硬件，采用 MIT 协议开源，社区友好。
5. 未来展望：PD 分布式拆分功能正在完善中，后续将发布专项测评。