LEANN

3周前发布 48 00

LEANN 适合本地私有 RAG、笔记本离线知识库、个人全量数据归档这类存储紧张、对检索延迟容忍度较高的场景;它用秒级检索延迟换取近乎极致的存储压缩,是面向端侧个人检索的一条新路线,不适合高并发、低延迟要求的线上向量检索服务。

所在地:
加州大学伯克利
收录时间:
2026-10-29

加州大学伯克利分校 Sky Computing Lab 近期开源了 LEANN,一种专为降低存储占用而设计的向量索引方案。该研究通过“在查询时重新计算嵌入”的创新机制,有效解决了传统检索增强生成(RAG)系统中向量索引体积往往大于原始数据的问题。该论文已荣获 MLSys 2026 最佳研究论文奖。

LEANN

核心机制:按需重计算与多级优化

传统图索引(如 HNSW)需要将完整的向量数据常驻内存,导致存储开销巨大。LEANN 的核心思路是保留一个剪枝图与紧凑的产品量化(PQ)表,丢弃完整向量,仅在查询时按需重建搜索路径上的节点嵌入。

为确保这一过程不会严重拖慢搜索速度,LEANN 引入了三项关键技术优化:

  • 两级搜索策略:首先使用低成本的 PQ 距离对邻居节点进行初步排名,随后仅对排名靠前的顶级候选者进行精确的嵌入重计算,大幅减少不必要的算力消耗。
  • 动态批处理:将来自多跳搜索的候选节点进行分组(例如每次 64 个),以更好地利用 GPU 的并行计算能力,提升整体吞吐量。
  • 高度保留剪枝:对图结构进行非对称优化。大多数普通节点仅保留极少量的边,而前 2% 的高频“枢纽”节点则保留更多连接,以维持图的连通性与检索效率。

消融实验表明,两级搜索可带来平均 1.4 倍的加速,结合动态批处理后加速比提升至 1.8 倍。

基准测试:存储大幅缩减与准确率对齐

研究团队在包含 6000 万个段落的 RPJ-Wiki 数据集上进行了严格测试。在 90% 召回率(Recall@3)的标准下,LEANN 展现了明确的存储优势与可接受的延迟代价。

  • 存储占用:在默认使用 Contriever(1.1 亿参数)作为嵌入器的情况下,6000 万块数据的索引体积从 201 GB 骤降至 6 GB。在论文所述的 76 GB 语料库设置中,存储需求仅为 4 GB,远低于 HNSW 所需的 188 GB。
  • 准确率表现:在 NQ 数据集上,配合 Qwen3-4B 模型,LEANN 与 HNSW 均达到了 25.5% 的下游准确率,显著优于 BM25(18.3%)和传统 PQ 压缩(17.9%)。
  • 延迟代价:存储的缩减不可避免地增加了检索时间。在 RTX 4090 环境下,LEANN 在 NQ 上的检索耗时为 2.48 秒,而 HNSW 为 0.05 秒。然而,考虑到后续生成阶段通常耗时约 20 秒,端到端总延迟仅从 20.95 秒微增至 23.34 秒,对整体用户体验影响有限。

主流向量索引方案横向对比

以下数据基于 LEANN 论文在 RTX 4090 环境下的自报测试结果,展示了不同方案在 90% 召回率下的表现差异:

  • LEANN:存储 4 GB,NQ 检索耗时 2.48 秒,下游准确率 25.5%,完美适配 32 GB RAM 的工作站。
  • HNSW (FAISS):存储 188 GB,NQ 检索耗时 0.05 秒,下游准确率 25.5%,在 32 GB RAM 环境下易发生内存溢出(OOM)。
  • DiskANN:存储 270 GB,NQ 检索耗时 0.03 秒,适配 32 GB RAM 工作站。
  • IVF-RECOMPUTE (EdgeRAG 风格):存储低于原始数据 5%,但 NQ 检索耗时高达 307.61 秒,实用性受限。
  • PQ 压缩:存储 20 GB,但无法在测试中达到 90% 的召回率要求。

个人数据场景与工程化部署

LEANN 的设计初衷是将语义搜索与 RAG 能力下沉至个人设备。其开源仓库已提供针对多种个人数据源的现成应用支持,包括本地文档、Apple Mail、Chrome 浏览历史、微信、iMessage 以及主流 AI 助手的对话导出记录。

在工程集成方面,LEANN 具备以下特性:

  • MCP 协议支持:可作为语义搜索 MCP 服务器直接接入 Claude Code 等智能体环境,并支持从 Slack 和 Twitter 书签拉取实时数据。
  • 灵活的生成后端:支持对接 Ollama、Hugging Face、Anthropic 或任何兼容 OpenAI 格式的 API。
  • 跨平台兼容:提供仅 CPU 的 Linux 安装选项,并全面支持 Ubuntu、Arch、WSL、macOS 和 Windows。部分特定应用(如 Apple Mail 搜索)则专为 macOS 优化。

通过 uv pip install leann 即可快速安装,代码采用宽松的 MIT 许可协议,为开发者在资源受限环境下构建本地化 RAG 应用提供了可靠的基础设施。

相关导航

Magentic-UI

Magentic-UI

Magentic-UI 是一个由多代理系统驱动的研究原型,专为网页任务自动化而设计。它不仅能帮助用户在网页上轻松浏览和执行各种操作,还能生成和执行代码,以及生成和分析文件。无论是填写复杂的表单、定制个性化的食品订单,还是在未被搜索引擎索引的网站上进行深度导航,如筛选航班、查找个人网站上的链接,亦或是需要网页导航和代码执行的任务,如从在线数据生成图表,Magentic-UI 都能轻松应对。