Dream-RSI

谷歌研究人员提出了一种名为 Dream-RSI（Dream-based Recursive Self-Improvement）的新框架，解决 AI 代理在递归自我改进过程中因重复探索失败路径而导致的巨大计算浪费。通过构建“历史发现树”并进行离线重放模拟，Dream-RSI 能够在不重新运行昂贵代理的情况下优化搜索策略，在关键基准测试中将发现代理的调用次数减少了多达 162 倍。

核心理念：从“反复试错”到“梦中学习”

传统的递归自我改进（RSI）系统往往依赖固定的探索策略，导致代理在数千个循环中不断重复已经付费获得但被判定为失败的反馈。Dream-RSI 的核心创新在于将过去的探索历史结构化为可重用的数据资产：

1. 历史发现树 (Historical Discovery Tree)：
   • 系统将代理的每一次决策、分支及其结果记录在一棵结构化的树中。
   • 这棵树成为了一个精确的搜索空间模拟器，包含了所有已执行操作的结果。
2. 重放模拟器 (Replay Simulator)：
   • 由于所有执行结果已保存在磁盘上，评估新策略只需读取历史记录，无需重新调用底层昂贵的在线代理或评估器。
   • 代理可以通过“遍历”这棵树来回答“如果当时采取不同策略会发生什么”，从而在零额外执行成本下进行离策略评估。
3. 基于“做梦”的策略改进：
   • 在线探索：代理根据当前策略构建发现树。
   • 构建模拟器：将树及其轨迹存入可重用存储库。
   • 做梦 (Dreaming)：代理在模拟器中“想象”替代策略，筛选数千个过去的发现，选出最优策略重新部署。

研究员比喻：“历史是做梦的世界。代理已经构建的发现树是它所到达搜索空间的精确模拟器。”

性能表现：显著降低成本，提升质量

在算法发现、GPU 内核工程和数学优化等多个领域的测试中，Dream-RSI 展现了极高的效率：

注：SimpleTES 是现有的先进发现系统，Dream-RSI 在其基础上通过策略优化实现了数量级的成本节约。

技术架构：轻量级编排与显式探索

• 不改变底层代理：Dream-RSI 作为一个轻量级编排层运行，控制分支、并行探索和停止决策，兼容任何底层编码代理。
• 显式且可编程：探索策略由人类设定或代理优化，决定在哪里搜索、何时并行及何时切断低效路径。
• 即时反馈：通过重放历史，系统能获得即时、低成本的反馈，加速策略迭代。

务实的自我改进

这项研究发布在 Anthropic 联合创始人 Dario Amodei 呼吁“放慢 AI 前沿步伐”几天后。Amodei 曾担忧 RSI 可能导致 AI 失控，但 Google 的这项实验展示了 RSI 更狭隘、更务实的一面：

• 效率优先：通过消除冗余计算，大幅降低 AI 开发的能源与经济成本。
• 可控性：探索策略是显式可编程的，人类可以介入调整搜索边界和停止条件。
• 知识复用：将一次性消耗的计算转化为可永久重用的“历史资产”，提升了 AI 系统的可持续性。