AutoHarness

2个月前发布 91 00

AutoHarness 是面向 Claude Code 的自学习技能层插件,核心能力是直接从你的真实对话会话里蒸馏技能,自动合并同类场景能力而不是堆积大量近似重复条目

所在地:
tigerless-labs
收录时间:
2026-10-02
AutoHarnessAutoHarness

AutoHarness 是面向 Claude Code 的自学习技能层插件,核心能力是直接从你的真实对话会话里蒸馏技能,自动合并同类场景能力而不是堆积大量近似重复条目;持续迭代更新技能,自动清理长期不用的旧技能,全程只修改它自己产出的技能文件,不会触碰用户手写或其他第三方技能。

基准测试数据:同一模型在 CORE-Bench(HAL)基准上,搭配 Harness 后得分从42%提升至78%。过往这类 Harness 大多需要人工为每一代模型重新构建,AutoHarness 的目标则是让技能层实现自我维护。

核心特性

  • 从真实会话学习:当会话完成足量任务后自动触发蒸馏;也可以手动输入 /learn,即时保存当前会话形成技能。不需要单独离线回放数据集。
  • 同类合并而非堆叠:新会话不会无脑新增技能。反射模块对比已有技能库,把相似场景的能力折叠合并,同时记录合并溯源,方便追溯。
  • 会话自带技能索引:每次开启会话,会加载它维护的技能分组索引,强化召回;完全保留 Claude Code 原生召回逻辑,索引是附加增强层。
  • 以实际使用验证,不靠静态基准:技能是否保留,取决于后续任务中有没有被实际调用执行,不是依赖基准打分;不需要额外的评估消耗 token。
  • 隔离安全边界:仅操作本插件生成的技能,用户手写、其他来源的技能文件完全不会被改动。
  • 完整账本留存证据:每次新建、更新技能,都会记录场景与决策日志,附带会话证据切片,可用来后续构建自定义基准。

安装条件与命令

环境依赖:Python3.11+,python3 在系统PATH;插件零第三方依赖,Python环境缺失则MCP服务与钩子无法启动。

Claude Code 内执行:

/plugin marketplace add tigerless-labs/autoharness
/plugin install autoharness@autoharness
/reload-plugins

安装完成后零配置,自动监听会话,技能文件落地在 .claude/skills/。手动蒸馏入口 /learn。

更新

claude plugin marketplace update autoharness       
claude plugin update autoharness@autoharness

更新后重启 Claude Code;可在插件市场开启自动更新。

卸载

claude plugin uninstall autoharness@autoharness     
claude plugin marketplace remove autoharness

卸载只会停止插件运行,技能文件和状态不会自动删除;如需清理,手动删除 ~/.claude/autoharness/、项目目录下 .claude/autoharness/ 和 .claude/skills/ 内由AutoHarness生成的技能,用户自建技能不受影响。

可配置环境变量

所有参数通过 AUTOHARNESS_* 环境变量配置,可在shell导出或者写入 .claude/settings.json 的env字段,下面是关键分组:

  1. 学习节奏:控制何时触发反射蒸馏与全库合并
    • AUTOHARNESS_REFLECT_EVERY_N:每N次工具调用后后台反射,默认50
    • AUTOHARNESS_CONSOLIDATE_EVERY_N:全库合并周期,默认250
  2. 召回控制:控制技能索引大小与文本上限,避免占用过多上下文
  3. 生命周期管理:项目/全局技能容量上限、成熟审查机制,长期低使用率技能会被归档(移动到归档目录,可恢复,不会直接删除)
  4. 通知:可选桌面通知、自定义Webhook命令,接收技能创建/更新/拒绝的事件

底层管线组件

  • CAP 捕获:监听每一轮对话、工具输入输出,以工具调用计数作为触发阈值,不复制完整会话日志。
  • REF 反射:对比已有技能库,决定新增、合并、修改或丢弃技能,生成修改意图。
  • promoter 写入校验:唯一写入组件,校验安全与格式,原子落地技能文件。
  • IDX 索引层:会话启动时构建技能分组索引,注入上下文。
  • MNG 生命周期管理:统计加载、查看、补丁三类使用指标,自动归档闲置技能,区分项目层/全局层技能池。
  • curator 策展模块:定期全库扫描,合并近似重复技能,合并前保留快照。
  • LED 账本:追加式日志,记录技能创建、修改原因与会话证据。

要点总结

  1. 定位:Claude Code插件,自学习技能层,从真实使用会话沉淀能力,不需要离线数据集;
  2. 存储形态:技能以普通文件存放于 .claude/skills,附带账本和证据,归档仅移动目录,支持恢复;
  3. 资源策略:按工具调用触发学习,无常驻后台守护进程;技能淘汰依据真实调用率,不是固定时间过期;
  4. 隔离保护:仅修改插件自身生成技能,用户编写的技能完全隔离,不会被改动;
  5. 对比优势:传统方案依赖基准评估或定时闲置清理,AutoHarness依靠任务实际执行情况判断技能价值,适配无标准基准的开放式开发工作。

相关导航