RRSI

Google Cloud AI Research 联合 UNC-Chapel Hill、Stanford 和 Washington University in St. Louis 发布 RRSI（Regularized Recursive Self-Improvement），一个 Apache 2.0 开源研究框架，使 LLM 智能体在模型权重冻结的前提下，自主重写其 harness（提示词、工具、记忆、控制流、子智能体）。

核心创新在于对改进循环本身施加正则化约束，防止 overfitting 到 evolve 集，确保增益迁移至从未参与优化的基准。使用 Claude Opus 4.8 时，Terminal-Bench 2.1 从 74.2% 提升至 80.2%，SWE-bench Verified（未用于选择）从 82.0% 升至 83.8%，6 个分布外基准全部提升；同时 harness token 消耗降低 30–36%。框架需 Python 3.10+，支持任意 LiteLLM 模型字符串，默认为 Vertex AI 上的 Claude Opus 4.8。明确标注为研究级代码，非 Google 官方产品。

为什么自我改进会 Overfit？三大失败模式

传统 harness 演化循环在固定 evolve 集上评分并保留赢家，导致：

1. 基准特定拟合：记住任务细节而非学习通用策略
2. 追逐噪声：将随机波动误判为有效改进
3. 复杂性累积：无效组件堆积，增加成本却不提升性能

RRSI 通过正则化搜索过程本身来解决这些问题，而非限制可编辑组件。

RRSI 核心机制：提议侧 + 选择侧双重正则化

提议侧正则化

选择侧正则化

💡 关键设计：所有正则化作用于搜索过程，而非 harness 结构本身，保持组件完全可编辑。

跨 8 基准性能验证

• Gemini 3.5 Flash 作为策略：Terminal-Bench 2.1 64.6→78.7；SWE-bench Verified 76.8→79.0
• 效率提升：每次试验策略 tokens 从 3.80M 降至 2.42M（↓30–36%）

与同类方法对比

📊 关键洞察：Meta-Harness 在 evolve 集领先，但 RRSI 是唯一 OOD 平均显著高于基线（+3.9） 的方法，证明正则化有效抑制 overfitting。

适用场景

• 研究智能体 harness 自动优化方法论
• 构建需长期演化的内部智能体系统（有 holdout 验证）
• 探索 LLM 作为元优化器的能力边界
• 希望降低 harness 维护成本的团队（自动化迭代）

⚠️ 注意事项：

• 非即插即用产品：需理解正则化机制并调参
• 依赖高质量 holdout 集：无可靠留出集则噪声下限失效
• 模型敏感性：不同策略模型（Opus vs Flash）收益差异大
• 研究级稳定性：API 变更、边缘 case 处理可能不完善
• 不改变模型权重：能力上限仍受基座模型约束