Prime Inference

Prime Intellect 正式发布 Prime Inference，一款面向前沿开源模型的推理服务平台，提供无服务器弹性端点以及跨多数据中心GPU的预留算力。公测前内部测试阶段，平台每日处理近万亿Token，负载来源包含RL迭代、合成数据生成、模型评估与长时编码智能体任务。

Prime Inference是Prime Intellect整套开源训练栈的服务层。该团队此前已经开源prime-rl、验证器、沙箱等后训练工具；这套推理服务补齐闭环：模型在线服务产生的轨迹数据，可以回流用于模型后续训练。官方称其GLM-5.3端点在OpenRouter上属于速度第一梯队，工具调用错误率接近0，上线至今保持100%可用。

平台基础能力

• 两种算力模式：弹性无服务器端点适配波动流量；预留容量面向持续稳定的智能体工作负载
• API兼容：完全适配OpenAI SDK，接入地址https://api.pinference.ai/api/v1
• 容灾：跨数据中心自动故障转移，流量自动调度至健康节点
• 硬件：当前使用NVIDIA Blackwell，Vera Rubin规划中
• 计费：统一账单，支持团队级用量追踪；各模型单独定价尚未完全公开

技术栈与核心优化

整套推理栈融合NVIDIA Dynamo、vLLM、Mooncake、FlashInfer，联合Inferact与NVIDIA共同开发，相关修复代码已向上游开源项目提交。

平台核心目标场景就是AI智能体：典型智能体一轮对话会在140K上下文提示词基础上新增约6K Token。基准测试使用SemiAnalysis AgentX，并注入冷启动流量做压力验证。

1. Prefill/Decode分离部署

Prefill和Decode跑在独立GPU集群，Dynamo负责流量路由，vLLM承载模型推理。Decoder通过NIXL读取KV缓存，实测p90令牌间延迟下降接近40%。

2. 缓存感知路由

Dynamo的KV感知路由器会权衡缓存前缀重合度与队列负载，保证同一会话持续绑定到同一个Decoder实例；Mooncake在主机内存增加第二层KV缓存。

GB200 NVL72 运行GLM-5.3实测数据

平台交互目标：单用户端到端100 token/s。测试证明1:4的prefill/decode配比，能承载最多并发会话，实现单用户101 tok/s，单GPU输出100 tok/s，每组prefill集群支持66路并发会话。

• DEP8 prefill拓扑：同等硬件下，前缀缓存容量相比TEP8提升约5倍
• Prefill预算调优：单GPU每步token从8K减半至4K，队列中位等待从550ms降至110ms，首token耗时下降约20%
• NVFP4 KV压缩：MLA缓存行从576字节压缩到352字节，单Decoder可缓存token量由1.09M提升至1.63M
• 原生sparse-MLA内核：12.0 μs@12查询token，优于分阶段实现与FP8方案（工作负载相关）
• BLHNC KV布局：描述符传输数量由19559降至1940，平均传输时间146ms →78ms

工具调用可靠性优化

智能体大量失败来自工具调用名称错误、参数损坏。Prime Intellect向Dynamo提交结构标签构建器适配GLM工具格式；vLLM借助xgrammar屏蔽不符合工具Schema的非法Token，同时修复代码内<转义<这类解析Bug。

和同类推理平台横向对比

竞品价格数据验证时间：2026-10-02，价格数据来自第三方ComputePrices追踪器