DeepSeek宣布，在开源一系列大模型、TileLang 编译工具及推理算子库的基础上，将其内部推理框架 DeepInfer 全面开源。同步发布的还有 MIT 许可的生产级 Token 编解码组件 deepseek-recipe，该组件与官方 API 处理逻辑完整对齐。
- DeepInfer：https://github.com/deepseek-ai/DeepInfer
- deepseek-recipe：https://github.com/deepseek-ai/deepseek-recipe
训练让模型学有所成，推理则让模型为人所用。面对海量的用户调用，推理框架负责统筹调度庞大的算力集群，其效率直接决定了 AI 服务的算力成本与电力消耗。DeepSeek 希望通过分享内部的部署经验，帮助开发者与企业优化大规模推理的吞吐与延迟，从而降低私有化及公有云部署的成本。
核心架构与技术特性
DeepInfer 最初建立在 vLLM 的基础上，并吸收了 SGLang 和 TensorRT-LLM 的部分设计思路。其核心引擎堆叠了 DeepSeek 自研的 FlashMLA、DeepGEMM、DeepEP、TileKernels 等内核，并在系统层面实现了四项关键优化。
并行策略方面，注意力层采用数据并行，而 MoE 层引入了带专家并行负载均衡器（EPLB）的专家并行。解码阶段通常在超级节点内运行 EP64 到 EP128，预填充阶段则使用内存允许的最小 EP，通常为 EP2 到 EP8。
DSpark 推测解码机制引入了置信度调度。草稿模型每步提议 5 个 token，Confidence Head 会预测每个草稿 token 的接受率。调度器据此只验证最有价值的前缀，这使得需要验证的草稿 token 数量减少约 30%，同时保持接受长度基本不变。
SWA 有界重放技术针对缓存命中场景进行了优化。系统仅重计算滑动窗口注意力状态的最后 128 个 token。这一设计让重计算成本保持恒定，不受上下文长度影响，几乎将总预填充计算量减半。
此外，系统实现了异步调度与结构化输出。CPU 批调度与 GPU 执行重叠，避免 GPU 在步骤间空闲。在 NVIDIA 平台上，还支持基于正则表达式、JSON schema 和 EBNF 语法的确定性采样与结构化输出。
性能表现与适用范围
基于官方自报数据，DeepInfer 支撑的单个集群每天可服务 155 万亿 token。在 131,072 上下文长度下，解码阶段（EP64）每 GPU 吞吐量超过 25,000 token/秒；预填充阶段每 GPU 约 60,000 非缓存 token/秒。
需要明确的是，此次开源版本存在明确的边界。目前它仅支持离线推理，未包含 KV 缓存系统、预填充与解码（P/D）分离以及跨数据并行副本的负载均衡器，这些组件仍与 DeepSeek 的内部基础设施紧密耦合。
在硬件与模型兼容性上，当前版本主要面向 NVIDIA SM100 (Blackwell) GPU 和华为 Ascend 950 NPU，且仅支持 DeepSeek-V4.1-Flash 模型。对于希望一窥前沿实验室真实服务栈的开发者而言，这是一个难得的参考，但在将其应用于生产环境时，仍需自行补齐缓存管理与负载均衡等外围系统。（官方介绍）
© 版权声明
文章版权归作者所有，未经允许请勿转载。
