vLLMvLLM 是一个由加州大学伯克利分校开发的开源 LLM 推理和服务库。其核心创新——PagedAttention 算法,彻底解决了 KV Cache 的内存瓶颈问题,实现了比 HuggingFace Transformers 高达 24 倍 的吞吐量提升,且无需修改任何模型架构。2380AI工具# vLLM# 推理