livenerf

livenerf 是一套长期、尽可能确定性的追加式基准测试框架，核心目标：监测前沿大模型正式发布之后，能力会不会发生隐性下滑（俗称模型“削弱/nerf”）。

此前一直有传闻，Anthropic会在模型发布后的几天或几周悄悄降低模型能力，可能是量化、替换更小模型、降低推理算力投入、路由策略改动；但也有可能只是用户主观感受+随机噪声。过去缺少发布当日的固定基线，各方争论只能停留在主观感受，livenerf正是为解决这个问题而搭建，本次针对Claude Opus 5.5（2026-09-22发布）启动长期观测。

模型采样本身天然存在随机性，无法做到100%固定输出。livenerf的思路：把其余所有变量全部锁死——冻结提示词、固定Claude CLI版本、固定评分器、永久保存原始日志，依靠上千样本做统计学漂移检验。底层基于英国AI安全研究所开源评估框架Inspect，统计方法直接采用Anthropic论文《Adding Error Bars to Evals》，避免自定义统计方案带来的争议。

项目当前状态

整套实验持续30天，每日跑一轮；第1–10天作为基线窗口，之后分为两个10天观测窗口，最早可在2026-10-24得到第一个判定结论，20天后产出首批正式结果。

• 截至2026-10-01：30天周期已采集8天数据（基线10天中的8天），无中断。全部8天使用同一harness哈希、固定CLI 2.1.280，完整跑完90个样本；仅第5天出现预算阈值覆盖事件。
• 测试面板构建：候选题库来自GPQA Diamond、MMLU-Pro、竞赛数学、AIME 2025–26，初筛2336道题目，每题4次采样。Opus5.5初次答题正确率约93%，其中78道是模型时而答对、时而答错的题目，构成最终评估面板（永远全对/永远全错的题目无法检测漂移，直接剔除）。
• 检测灵敏度：这套面板可在10天窗口内检出约7.5个点的准确率变化，每周仅消耗计划配额3.6%。
• 验证实验：人为调低模型推理算力做对照。低算力场景输出token减少62%，准确率下降8.3±4.5；中算力token减少26%，准确率下降4.2±3.9。token输出量往往会先于准确率体现模型偷懒，是核心次级观测指标。
• 局限：该基准无法区分Opus5.5和Opus5（准确率差-3.8 ±6.3点，token减少23%），在当前样本规模下检测不出这类同家族模型替换。
• 题库审计：78题面板+后续剔除2题，审计发现8处参考答案错误、30道题目本身存在歧义；预注册方案支持剔除这类题目重新跑敏感性分析。
• 服务侧干扰：安全分类器偶尔会将生物、部分数学问题路由至Opus5作答或直接拒绝，这类样本会被丢弃，对应题目排除。

核心实验设计要点

1. 只保留有信息价值的题目
   永远答对/答错的题目没有监测价值。只保留模型有概率答错的题目，基于p(1−p)信息增益筛选，在token预算内匹配最低采样率。
2. 配对逐项对比，不使用LLM裁判打分
   同一道题目反复跑，和自身基线对比，消除题目难度带来的干扰；使用精确匹配，完全不依赖另一个大模型做评判（防止裁判本身漂移）。
3. 双实验臂（实验组+对照组）
   主面板测Opus5.5；同时每天用相同harness跑Opus5作为对照组。如果两组模型同步发生分数偏移，说明是平台/调用链路变化，不是Opus5.5模型本身退化。
4. 严格预注册
   正式采集数据前提交PREREGISTRATION.md，记录选题流程、指标、判定规则，git时间戳保证公开可审计。判定标准非常严格：连续两个10天窗口，99%置信区间排除零变化，效果差值≥3个点，并且对照组没有出现同向变动，才判定模型发生显著变化。模型能力提升同样会被报告，不只关注降级。
5. 全链路锁定，防止外部变量污染
   固定Claude Code版本，关闭自动更新；整套运行环境、提示词、目录环境锁死；禁止加载MCP、CLAUDE.md记忆、工具调用，仅单轮文本问答。代码题在模型外部沙箱执行测试，模型本身不运行代码。
6. 日志仅追加，不可修改
   所有原始评估日志永久保存，只新增、不编辑删除；记录提示词、完整响应、用量、延迟、CLI、harness哈希、配额计量。

部署运行

环境需求：Python3.11+、uv、已登录Claude Code（Max订阅，使用claude -p，无需API Key），支持Linux/macOS/Windows。

git clone [https://github.com/ninjahawk/livenerf](https://github.com/ninjahawk/livenerf)
cd livenerf
uv sync

关键：锁定Claude CLI版本，防止CLI更新干扰实验结果

export DISABLE_AUTOUPDATER=1
claude --version | awk '{print $1}' > CLAUDE_CLI_VERSION

可以备份一份固定版本二进制，设置LIVENERF_CLAUDE_CLI指定路径。

实验流程：校准 → 面板设计 → 验证（阳性对照+A/A校验）→ 预注册提交 → 定时每日运行

# 查看Claude Max订阅配额
python -m livenerf.usage
# 校准采样
python -m livenerf.benchmarks.calibrate run --weekly-points 12
# 设计并冻结评估面板
python -m livenerf.design --max-weekly-points 10 --samples-per-day 1 --write
python -m livenerf.design --max-weekly-points 10 --lock
# 验证实验装置
python -m livenerf.validate run --weekly-points 8
python -m livenerf.validate report
# 预检
python -m livenerf.preflight --probe

配置定时任务每日执行整套面板，用量超限会自动跳过并重试。查看结果：

inspect view
python -m livenerf.analysis

要点总结

1. 定位：livenerf是预注册长期持续基准，目标量化监测Claude Opus 5.5模型发布后的能力漂移，解决“模型是否悄悄降质”的争议；
2. 核心指标：主指标为配对题目准确率，次要重点指标是输出token中位数，模型推理偷懒时token往往率先下降；
3. 控制方案：双实验臂、固定全套环境、不用LLM裁判、预注册判定规则，排除平台/链路扰动；
4. 限制：只能检测足够大的效果变化，小规模同系列模型替换在现有样本量下无法识别；测量对象是Claude Max订阅链路下的模型，不等同于API版本；
5. 开放性：无论结果是模型变差、变好还是无显著变化，都会完整对外发布原始数据与结论。