新清华联合港中文开源 AKV:基于 SGLang 的 Agent 专用 KV 缓存工程系统,降本 27.7%清华大学与香港中文大学的研究人员近日联合开源了 AKV,这是一个专为大语言模型(LLM)智能体设计的 KV 缓存工程服务系统。该系统构建于高性能推理框架 SGLang 之上,采用 Apache-2.0...工具# AKV# SGLang1天前180