Harness²

1周前更新 19 00

Harness²代表一类新方向:智能体能力瓶颈不一定在模型本身,而在模型外围编排层。它不需要微调权重,通过多候选并行探测、基于行为轨迹对比做筛选,不靠标准答案也能持续迭代优化智能体提示、工具、记忆等整套运行环境,并且经验可以跨任务复用。

所在地:
谷歌
收录时间:
2026-10-18
其他站点:
Harness²Harness²

Google Cloud AI Research 开源 Harness²,一款递归智能体利用(harnessing)框架。核心思路是冻结大模型权重,不去训练/微调模型,只迭代优化包裹模型外层的整套智能体运行环境(Harness),依靠递归试错、对比评估自动优化提示词、工具编排、记忆等组件,让编程智能体能力提升。项目版本0.1.0,Apache 2.0许可证,运行环境为Linux,Python3.12/3.13搭配uv,模型调用依托Vertex AI。

Harness²

核心概念:Harness与8个可编辑组件

Harness就是模型之外整套智能体运行系统,Harness²把它拆分为8个可独立修改的文件组件:

  1. 系统提示
  2. 护栏规则
  3. 记忆模块
  4. 工具指导
  5. 子智能体
  6. 技能
  7. 脚本
  8. 插件(中间件)

相比旧版Agentic Harness Engineering,新增插件中间件组件,覆盖上下文构建、工具调用、任务委托、智能体循环全链路。

递归智能体利用工作机制

框架分为两层递归优化,不需要真值标签、预先准备测试集,适配开放世界未知任务场景:

  1. 任务级递归:提议 → 探测 → 组合
    先用基础Harness执行一次任务;接着生成两类候选Harness修改方案:一类解决通用智能体缺陷(规划、工具调用错误),一类针对当前任务领域做优化;在同一任务上并行运行两组候选,对比执行轨迹,只保留有实际行为证据支撑的修改。
  2. 利用级递归:经验沉淀
    任务结束后,反射模块保存优化后的Harness与EXPERIENCE.md经验文档,沉淀经验库,用于后续任务的方案生成;新任务依然从基础Harness启动。

支持预算k搜索策略:并行模式同时探测k组不变/领域候选再组合;顺序模式串行执行k轮细化迭代。

基准测试结果

测试采用三大基准:WorkBuddy-Bench、JobBench、Harvey’s LAB;执行模型为Gemini 3.5 Flash、GLM-5,搭配OpenCode/Codex智能体框架,编辑器使用Claude Opus 4.8,分数取3轮均值。
单步优化(K=1)关键提升:

  • GLM-5 + OpenCode:WorkBuddy-Bench 64.2 → 75.7(+11.5分),提升幅度最大,优化后甚至超过基础版Gemini 3.5 Flash
  • Gemini 3.5 Flash + OpenCode:WorkBuddy 72.4 →77.5;JobBench 31.5→36.0;LAB 79.9→81.9
  • GLM-5 + Codex:JobBench提升最小,仅23.6→24.8(+1.2分)

k=5并行递归模式下,Gemini+OpenCode在WorkBuddy-Bench最高达到80.8分,并且部分场景还减少单任务执行步数(Gemini OpenCode从25.4步降至21.9步)。

和同类Harness优化框架横向对比

特性Harness²Meta-HarnessReasoningBankHarness Scaling
优化对象8组件完整Harness,每任务迭代Harness代码,离线搜索检索记忆,Harness固定单实例修订Harness
是否需要训练集否是否否
跨任务学习✅ 经验库沉淀❌ 仅保留最优静态Harness✅ 记忆❌
许可证Apache-2.0MIT未披露未披露

要点小结

Harness²代表一类新方向:智能体能力瓶颈不一定在模型本身,而在模型外围编排层。它不需要微调权重,通过多候选并行探测、基于行为轨迹对比做筛选,不靠标准答案也能持续迭代优化智能体提示、工具、记忆等整套运行环境,并且经验可以跨任务复用。代价是每一轮优化都需要额外多次运行智能体任务,需要配套沙箱隔离来保证安全。

相关导航

OceanBase seekdb

OceanBase seekdb

OceanBase seekdb 是 OceanBase 打造的一款开发者友好的 AI 原生数据库产品,专注于为 AI 应用提供高效的混合搜索能力。它支持向量、文本、结构化与半结构化数据的统一存储与检索,并通过内置 AI Functions 支持数据嵌入、重排与库内实时推理。seekdb 在继承 OceanBase 核心引擎高性能优势与 MySQL 全面兼容特性的基础上,通过深度优化数据搜索架构,为开发者提供更符合 AI 应用数据处理需求的解决方案。