TPU SyncGoogle Cloud 正式开源 TPU Sync,这是一个专为 Cloud TPU 设计的 C++ 库,旨在解决大规模混合专家(MoE)模型推理中的关键瓶颈——模型状态移动。通过将 TPU HBM、主机 DRAM、共享存储及数据中心网络整合为统一的内存层级,TPU Sync 利用异步直接内存访问(DMA)技术,实现了 KV 缓存和模型权重的高效传输。60AI工具# TPU Sync