Memorilla

2天前发布 7 00

斯坦福 SNAP 小组推出开源记忆系统 Memorilla,专门适配冻结状态的 LLM。它可以读取整套文档集,只向冻结大模型送入固定 16 个记忆 token,在降低 token 开销的同时,多数场景下检索问答效果优于直接把全部文档塞进上下文。

所在地:
斯坦福 SNAP 小组
收录时间:
2026-11-14
其他站点:
MemorillaMemorilla

斯坦福大学 SNAP 实验室联合多伦多大学、宾夕法尼亚大学及 MIT 的研究人员正式开源了 Memorilla,一种专为冻结大语言模型(LLM)设计的轻量级记忆系统。该系统通过一个仅 1.94 亿参数的可训练模块,将庞大的文档集合压缩为固定的 16 个记忆 Token,直接注入到冻结的 LLM 输入端。实验显示,在 FactKG 基准测试中,Memorilla 不仅比完整上下文提示高出近 4 个百分点的准确率,还将所需的文档 Token 数量减少了 108 倍,显著提升了推理效率与长文本处理能力。

核心架构:冻结模型下的“第三条路线”

传统长文本处理通常面临两难:要么使用完整上下文导致速度极慢且超出窗口限制,要么使用检索增强生成(RAG)可能遗漏弱相关线索。Memorilla 提出了第三种方案:学习式压缩。

其工作流程分为三个关键步骤:

  1. 一次性编码:使用冻结的 Qwen3-Embedding-4B 对文档库中的每个文档进行嵌入。新文档的加入无需重新编码旧文档,实现了高效的增量更新。
  2. 按问题读取:一个包含 16 个学习槽的记忆模块,通过 2 层交叉注意力机制和 8 个头,同时关注用户问题和整个文档存储库,动态提取最相关的信息。
  3. 向量注入:将这 16 个槽位投影到 Qwen3-8B 的输入嵌入空间,并前置到问题之前,供冻结的解码器使用。

在此架构中,编码器(Qwen3-Embedding-4B)和解码器(Qwen3-8B)均保持冻结状态,仅有这 1.94 亿参数的记忆模块参与训练。

性能表现:效率与精度的双重突破

在 8 个主流基准测试中,Memorilla 取得了平均 49.68 的最高分,在 5 个单项中位列第一。

基准测试Memorilla (Qwen3-8B)完整上下文 (Full Context)MemoRAGLLMLingua-2备注
FactKG84.33%80.43%80.38%–Token 减少 108 倍
PersonaMem-v244.60%27.92%––显著优于次优方法 xRAG (30.90%)
TriviaQA57.00%–56.60%–精确匹配率略胜
LaMP-4 / LaMP-718.15 / 48.37–––ROUGE-L 最佳分数
PubMedQA59.00%––69.00%短文本场景下压缩优势不明显

注:在 NarrativeQA 任务中,Memorilla 实现了惊人的 4,212 倍 Token 压缩率(16 个 Token 替换 67,385 个文档 Token)。

推理速度:从秒级到毫秒级的飞跃

在处理大规模文档时,Memorilla 的速度优势极为显著。在单块 H100 GPU 上处理 512 个文档(约 128K Token):

  • 完整上下文:响应时间从 0.75 秒激增至 19.9 秒。
  • Memorilla:响应时间稳定在 0.74 秒,其中记忆模块本身的计算仅需约 2 毫秒。

此外,通过引入记忆缓存预计算交叉注意力的键值对,在 B200 GPU 上处理 100 万个文档的查询仅需 8.1 毫秒(经 torch.compile 优化后可降至 5.0 毫秒),尽管这会占用约 80 GiB 的显存。

训练与部署

Memorilla 的训练分为三个阶段,总计在 4 块 H100 GPU 上耗时约 19 小时:

  1. 重建阶段:使用约 198 万个 Wikipedia 释义示例。
  2. 多任务阶段:加入 10 个 QA 和摘要数据集的约 134 万个示例。
  3. 微调阶段:在所有 8 个基准上进行最终微调。

部署指南:

  • 环境:Linux, CUDA GPU, Python 3.11。
  • 安装:推荐使用 uv 进行环境管理。
  • 加载:通过 MemoryVLLM.from_pretrained 加载检查点。首次运行需下载约 25 GB 模型文件。
  • 数据格式:自定义数据需整理为包含 collection_id, question, answer, documents 列的 Parquet 文件。

局限性与展望

尽管表现优异,Memorilla 在部分细粒度事实问答(如 PubMedQA)上仍落后于专门的压缩工具 LLMLingua-2,这主要因为在短文本场景下,压缩带来的信息损失可能超过其效率增益。此外,目前尚未公布量化变体,对显存有一定要求(快速开始推荐 80 GB GPU)。

Memorilla 的开源为构建高效、低成本的长文本 AI 应用提供了新的思路,特别是在需要频繁访问庞大知识库且对延迟敏感的场景中,其“固定 Token 输出”的特性极具吸引力。

相关导航