RecursiveMAS 

5个月前发布 223 00

RecursiveMAS 是由伊利诺伊大学厄巴纳-香槟分校 (UIUC) 和 斯坦福大学 研究人员联合开发的创新框架,它允许代理通过嵌入空间(Embedding Space)而非文本直接传递信息,实现了真正的“心灵感应”式协作。

所在地:
美国
收录时间:
2026-05-18
其他站点:
RecursiveMAS RecursiveMAS 

在当前多代理 AI 系统中,代理间通过生成和共享文本来通信,这不仅导致高延迟和高 Token 成本,更使得系统难以作为整体进行端到端优化。RecursiveMAS 是由伊利诺伊大学厄巴纳-香槟分校 (UIUC) 和 斯坦福大学 研究人员联合开发的创新框架,它允许代理通过嵌入空间(Embedding Space)而非文本直接传递信息,实现了真正的“心灵感应”式协作。

RecursiveMAS 

实验表明,RecursiveMAS 在代码生成、医学推理及搜索等复杂任务中,不仅准确率平均提升 8.3%,更将 Token 使用量最高降低 75.6%,推理速度提升 1.2-2.4 倍。其独特的“冻结主干、仅训链接”训练范式,使得构建定制化多代理系统的成本大幅降低,为生产级多智能体应用提供了可扩展、经济高效的蓝图。

核心亮点:潜在空间协作、极致高效、统一进化

1. “心灵感应”式潜在空间通信

  • 打破文本瓶颈:传统多代理系统需等待前一个代理生成完整文本后,下一个代理才能开始处理。RecursiveMAS 摒弃了这一低效模式,代理间直接传递连续潜在表示(Latent Representations)。
  • 递归循环架构:
    • 每个代理类似递归语言模型中的一层,迭代处理潜在状态并传递给下一位。
    • 最后一个代理的输出反馈给第一个代理,形成闭环,允许多轮隐性交互与反思。
    • 仅在最后一轮,最终代理才将潜在状态解码为文本输出,极大减少了中间过程的 Token 浪费。

2. 专用组件:RecursiveLink

为实现跨模型、跨维度的潜在状态传输,研究者引入了轻量级双层模块 RecursiveLink:

  • 内部 RecursiveLink:在代理内部运作,将新生成的嵌入映射回输入空间,支持连续潜在思维流生成,无需离散 Token。
  • 外部 RecursiveLink:充当代理间桥梁,包含额外投影层,用于匹配不同模型架构(如 Qwen vs Llama)的隐藏层维度,实现异构模型无缝协作。

3. 极低训练成本与显存占用

  • 冻结主干,仅训链接:保持所有基础大模型(LLM)参数冻结,仅训练轻量级的 RecursiveLink 模块。
  • 类比 LoRA 但更高效:相比全参数微调或标准 LoRA,RecursiveMAS 只需更新极少量参数,峰值 GPU 内存需求最低,训练成本降低 50% 以上。
  • 共享主干优化:若多个代理基于相同基础模型,可共享同一主干权重,仅需加载一次,进一步节省显存。

4. 性能飞跃:更快、更准、更省

  • 准确率提升:在九个基准测试中,平均准确率比最强基线高出 8.3%,尤其在推理密集型任务(数学、代码、医疗)表现卓越。
  • 速度加速:端到端推理速度提升 1.2x – 2.4x,消除了文本生成的串行等待时间。
  • Token 骤减:
    • 第一轮递归:Token 减少 34.6%。
    • 第三轮递归:Token 减少高达 75.6%。
RecursiveMAS 

工作原理详解

  1. 初始化:用户输入被编码为初始潜在状态,传入第一个代理。
  2. 内部推理:代理通过内部 RecursiveLink 在潜在空间进行多步思考,不生成文本。
  3. 跨代理传递:处理后的潜在状态通过外部 RecursiveLink 投影至下一代理的维度空间。
  4. 递归循环:状态沿代理链向下传递,最终代理的输出反馈回起始代理,开启新一轮深化推理。
  5. 最终解码:经过预设轮次后,最后一个代理将最终潜在状态解码为自然语言文本,输出结果。

性能对比数据

指标RecursiveMAS基于文本的基线 (Recursive-TextMAS)提升/优化幅度
平均准确率SOTA次优基线+8.3%
推理速度1.2x – 2.4x1.0x显著加速
Token 消耗 (Round 1)65.4%100%-34.6%
Token 消耗 (Round 3)24.4%100%-75.6%
训练成本< 50%100% (全量/LoRA)减半以上
峰值显存最低较高大幅降低

注:测试模型包括 Qwen, Llama-3, Gemma3, Mistral 等开放权重模型。

相关导航