清华大学与香港中文大学的研究人员近日联合开源了 AKV，这是一个专为大语言模型（LLM）智能体设计的 KV 缓存工程服务系统。该系统构建于高性能推理框架 SGLang 之上，采用 Apache-2.0 协议开源。AKV 创新性地将优化重心从传统的“文本上下文工程”转移至底层的“KV 缓存工程”，在不修改模型权重的前提下，显著降低了智能体长程任务的推理成本并提升了任务成功率。
- 项目主页：https://fuvty.github.io/thinking_yard_project_page/projects/akv/
- GitHub：https://github.com/thu-nics/AKV
核心机制：缓存工程 vs. 上下文工程
传统的上下文工程通常通过裁剪或总结文本历史来压缩长度。然而，编辑文本前缀会导致后续所有 KV 状态失效，保留的后缀必须重新进行昂贵的预填充计算，这往往迫使智能体框架采取延迟且激进的总结策略，容易丢失关键细节。
AKV 则完全不同：它不改动文本轨迹，而是直接管理哪些 KV 条目对注意力机制保持可见。AKV 定义了三种核心缓存操作：
- Append：新 token 的标准 KV 缓存更新。
- Drop：从未来的注意力计算中移除选定的 KV 条目，但不改变其在序列中的相对位置。
- Repos (Reposition)：利用 RoPE（旋转位置编码）特性，将保留的键（Keys）重写到位置 0 至 r-1，而值（Values）保持不变。这使得被驱逐的状态可以在一次预填充中快速恢复，且无需重新计算隐藏状态。消融实验表明，加入 Repos 操作可使 GPT-OSS-120B 在 BrowseComp-Plus 上的通过率从 55% 提升至 62%。
为支撑这些操作，AKV 扩展了 SGLang 的基数树（Radix Tree），引入了 drop 和 reposition 节点，确保仅在无活跃请求需要时才释放被丢弃的 KV 缓存，从而解决了复杂操作历史下的状态复用难题。
卓越的性能与成本优化
在涵盖 3 个模型（GPT-OSS-120B、MiniMax-M2.7、MiroThinker-1.7-Mini）和 4 个智能体基准测试（BrowseComp-Plus、GAIA-Text、SWE-bench Verified、xbench-DeepSearch-2510）的评估中，AKV 展现了显著的优势：
- 成本与准确率双赢：相比传统的阈值总结方案，AKV 使平均推理成本降低 27.7%，同时平均任务得分提升 1.7 分。例如，GPT-OSS-120B 在 SWE-bench Verified 上，每任务成本从 20.0 美分降至 9.7 美分，得分从 40.0 升至 43.2。
- 极致的延迟优化：在 80 个长上下文 SWE-bench 任务的服务测试中，当并发数为 16 时，传统方案的 P95 延迟高达 229.90 秒（因 KV 压力被迫反复重新预填充），而 AKV 将其大幅压缩至 30.63 秒（快 1.51 倍）。同时，输出吞吐量提升 1.18 倍，输入吞吐量提升 1.53 倍。
灵活的 API 与智能体自主控制
AKV 提供了无状态且完全兼容 OpenAI API 规范的接口。客户端在发送完整消息历史时，可携带两个可选字段：
drop_message：触发消息索引映射，指定要丢弃的消息。reposition：列出需要被压缩重定位的位置索引。
系统内置了基于轮次、基于 token 或基于模型的 CachePolicy。更具前瞻性的是，AKV 提供了 CacheTool，允许 LLM 智能体在推理过程中自行调用 drop_context 工具，主动管理自身的缓存策略。实验表明，将缓存控制暴露为工具，可使 GPT-OSS-120B 在特定子集上的准确率从 52.1% 跃升至 61.0%。
部署环境与当前限制
- 运行环境：通过 SGLang 在 NVIDIA GPU 上运行（论文测试环境为 8 块 A800-80GB GPU，BF16 精度）。
- 支持模型：目前主要支持 Qwen 系列、GPT-OSS 以及 MiniMax-M2 文本模型。
- 局限性：作为一项专注于多轮工具调用智能体的新技术，其当前实现尚未覆盖所有架构的模型，且智能体自主调整缓存策略时可能会带来微小的额外成本波动。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
