
Google Cloud 正式开源 TPU Sync,这是一个专为 Cloud TPU 设计的 C++ 库,旨在解决大规模混合专家(MoE)模型推理中的关键瓶颈——模型状态移动。通过将 TPU HBM、主机 DRAM、共享存储及数据中心网络整合为统一的内存层级,TPU Sync 利用异步直接内存访问(DMA)技术,实现了 KV 缓存和模型权重的高效传输。据 Google 内部测试显示,该库可将 Qwen3-235B 模型的 KV 传输延迟从数秒降至约 230 毫秒,降幅超过 90%。

核心架构与设计理念
TPU Sync 的核心目标是消除数据移动带来的开销,而非单纯提升计算速度。其设计遵循以下四大原则:
- 零拷贝与布局保持:直接读取 JAX PJRT 缓冲区或 PyTorch 张量,数据在传输过程中保持原生的 TPU 分块布局,避免了 Python 序列化或中间缓冲区的反弹开销。
- 计算与传输重叠:通过原始 PJRT 缓冲区的别名机制,允许数据传输在计算任务执行期间并行运行。内置的 DMA 节流机制可防止大型复制操作延迟内核启动。
- 绕过 XLA 编译:传输和重新分片逻辑在 XLA 计算图之外的本地 C++ 层运行,确保了更高的灵活性和更低的调度延迟。
- 极致带宽利用:充分利用 PCIe Gen5 和数据中心网络(DCN)。在 Ironwood 主机上,PCIe 传输速率可达 223 GB/s(接近 256 GB/s 的理论上限);单网卡 DCN 流式传输速率约为 192 Gbps,双网卡可达 350 Gbps。
应用场景与工作机制
TPU Sync 主要服务于两个关键场景:
- 分离式预填充/解码服务(P/D Disaggregation):预填充节点通过异步 DMA 将生成的 KV 块卸载至固定主机 RAM,控制器随后将其流式传输至指定的解码节点。到达后,KV 块在解码继续的同时移入解码节点的 HBM,显著降低了首 Token 时间(TTFT)。
- 强化学习(RL)权重广播:在 RL 训练流程中,负责将权重从训练器高效广播至采样器。
此外,该库还包含一个全局 KV 存储用于前缀查找、一个传输控制器以及一个 KV 缓存管理器,共同构成了完整的状态管理解决方案。
性能基准测试
Google 在 TPU v7x (Ironwood) 集群上进行了内部测试,技术栈包括 tpu-inference v0.24.0、JAX 0.10.2 和 libtpu 0.0.42.1。测试对象涵盖 235B 至 480B 参数的 MoE 模型。
| 指标 | 优化前 | 优化后 (TPU Sync) | 提升幅度 |
|---|---|---|---|
| Qwen3-235B KV 传输延迟 | 数秒 | ~230 毫秒 | > 90% |
| 低并发下平均 TTFT (235B) | – | – | 下降 60% |
| 低并发下平均 TTFT (480B) | – | – | 下降 90% |
| 高峰流量 Token 吞吐量 (235B) | – | – | 上升 30% – 70% |
| 64K 上下文前缀缓存 TTFT | – | – | 下降高达 90% |
| 前缀缓存有效容量 | – | – | 增长一个数量级 |
注:在 64K 上下文工作负载中,P99 令牌间延迟下降了 30%,整体吞吐量上升超过 50%。
生态集成与可用性
- 许可协议:Apache-2.0 开源。
- 支持框架:提供面向 PyTorch 和 JAX 的 Python Wheel 包,原生 C++ 核心。
- 兼容平台:Cloud TPU v7x (Ironwood) 和 v6e。
- 生态接入:已接入 vLLM-TorchTPU、SGLang-TorchTPU 以及 GKE 上的 llm-d。
- 存储后端:支持实验性 POSIX 后端,包括本地 SSD 和 Google Cloud Managed Lustre。
局限性与注意事项
尽管性能表现优异,Google 在 README 中明确指出 TPU Sync 目前尚不推荐用于一般生产用途,主要原因包括:
- 早期阶段:部分功能(如存储分层和 RL 支持)仍处于实验性阶段。
- 自我报告数据:所有基准测试结果均来自 Google 内部实验室,现实世界中的表现可能因网络拓扑、负载类型及硬件配置而异。
- 缺乏 RL 详细数据:虽然支持 RL 权重广播,但尚未公布相关的详细基准测试数据。
TPU Sync 的开源为大模型推理基础设施提供了新的优化思路,特别是在处理超长上下文和超大规模 MoE 模型时,其高效的 KV 缓存管理能力有望成为降低推理成本、提升响应速度的关键技术组件。
相关导航


WeChat Mac RPA

人工智能产品安全漏洞专业库(CAIVD)

0

oLLM

LandingAI ADE

Molt






