DeepSWE
Datacurve 公司最新发布的 DeepSWE 基准测试，不仅重新洗牌了顶级模型的排名，更揭露了当前行业标准 SWE-Bench Pro 中存在的严重验证漏洞与数据污染问题。
JevBench 是 Benchmark Heaven 推出、专门针对 Jev 这类 System 1 决策模型的基准测试，不属于大语言模型文本生成赛道。
它的任务范式：输入一段状态与限定评分标准，模型输出带类型的选项结果，附带各选项概率，不输出散文、推理解析、AI 套话。该基准独立开发，和 TypeSafe AI 没有隶属、官方背书关系，TypeSafe 的 Jev 模型只是被测对象之一。
核心评分机制（v1.4.1）
| 轴 | 计算方式 | 权重 | 关键调整 |
|---|---|---|---|
| Intelligence | (准确率 – 机会) / (1 – 机会)，按层加权（hard 30%, easy 14%, standard 28%, judge 28%） | 25% | v1.4.1 起混合 20% 密封 + 80% 公开；公开-密封差距 >25pp 降分 |
| Calibration | ECE + 对金分布保真度（无标签系统计 0） | 25% | 硬层专属子分数 |
| Speed | score(p50) + score(p95) 平均；score(s)=100−20log₁₀(s/0.1s) | 25% | 自托管/演示端点延迟 ×2 +0.15s 模拟生产负载 |
| Cost | 100−30log₁₀(每千决策$/0.001) | 25% | 单位是每千决策美元，非每千 token；<$0.001=100，每贵10倍−30 |
⚠️ 重要澄清：
- Cost 列数值如
$0.0399表示 1,000 次完整决策的成本（含状态+标准+选项，通常数百至数千 tokens），绝非 token 单价- Speed 的 ×2 延迟调整是假设性修正，非实测生产环境数据
- 密封项目答案键不公开，防止训练泄露；随领域演变需持续更新
当前排行榜 Top 5（v1.4.1）
| 排名 | 系统 | 分数 | 备注 |
|---|---|---|---|
| 1 | Jev 1.13.0 (TypeSafe AI) | 63.29 | 商业 API，每千决策 $0.0399 |
| 2 | JevK5 v0.2.0 | 62.04 | 开源实现 |
| 3 | Hopper | 59.43 | — |
| 4 | Winnow-12B Q8 | 55.58 | 量化版本 |
| 5 | reflex 4B (kshetrajna12) | 53.99 | 小模型代表 |
📌 未排名但可见：swanOne（密封运行未完成）；jqv、Qwen3.8 27B、Needle 3（部分运行）
🏅 荣誉提名：classifier.dev（快速层 83.6）——因其底层为 Jev 1.13.0，避免重复排名
关键设计原则与防作弊机制
- 密封测试集：308 个新决策仅发布聚合结果，答案键永不公开，杜绝针对性微调
- 机会校正 Intelligence：消除纯猜测得分，低于随机水平的系统得负分并受二次惩罚
- 选项顺序鲁棒性验证：open-alternative-jev 反序选项后准确率从 72% → 21%，暴露小模型位置偏差
- 成本精确核算：v1.2.3 修正三处算术错误，确保每决策仅计费一次；DeepSeek V4.1 Flash 因未解析请求被正确计价
- 服务 vs 模型区分：运行其他参赛者模型的服务（如 classifier.dev）列为荣誉提名，不参与主榜排名
历史演进与可信度保障
- 数据集冻结：534 个决策（含 220 个硬层）在首次运行前哈希冻结，后续版本仅新增系统，不改题目或答案
- 透明修订日志：每次更新（v1.2.0 → v1.2.16）详细记录新增系统、映射规则、端点条件与成本基础
- 可复现工件：所有公开结果存于
results/JSON，评分代码开源（jevbench/composite_v13.py） - 第三方诊断工具：stuntdouble 允许本地影子测试；#40 选项顺序分析为独立诊断，不影响官方分数
使用建议与边界认知
✅ 适用场景：
- 选型 Jev 类决策模型用于路由、分类、评分等结构化任务
- 评估自研 System 1 模型的校准性与成本效率
- 研究小模型在选项顺序、置信度级联等维度的脆弱性
⚠️ 注意事项：
- 非 TypeSafe 官方基准：Jev 模型仅为被测对象之一，结果不代表厂商认证
- 密封集动态演化：当前密封题可能随领域变化失效，需关注更新
- Speed/Cost 为估算值：延迟调整与托管成本基于假设，生产环境需实测
- 组合实验未改排名：置信度级联、委员会、best-of-N 等策略在 RESULTS-COMBINATIONS.md 中报告，但未影响主榜
- 主题准确率仅供参考：数学/编码/法律等分项数据存在，但不计入总分
相关导航
AITradeGame
AITradeGame 是一个开源的 AI 交易模拟平台，支持 本地自托管 与 在线竞技 双模式，旨在为开发者、量化爱好者和 AI 研究者提供一个隐私优先、灵活可扩展的 AI 交易实验环境。
PokerBattle
PokerBattle.ai 是一个让多个大语言模型（LLM）在真实德州扑克规则下自主对战的实验平台。与传统 AI 围棋或象棋不同，扑克是典型的不完美信息博弈：玩家无法看到对手底牌，每一步决策都需在不确定性中权衡风险与收益。
Supabase Evals
Supabase 正式开源了 Supabase Evals，这是一套用于评估 AI 智能体（如 Claude Code、Codex、OpenCode）在 Supabase 平台上构建能力的基准测试框架。它不再依赖模拟环境，而是让 AI 在真实的容器化堆栈中完成构建 Schema、调试 Edge Function、修复 RLS 策略等实际任务，并对结果进行严格评分。
Yupp
Yupp正式推出人类评估系统 ，邀请使用者协助评估全球逾 500 个大语言模型，包括 ChatGPT、Claude、Gemini、DeepSeek、Grok 及 Llama 等，也涵盖了必须付费订阅的各种 Pro 与 Max 模型，并根据使用者的回馈制定 Yupp AI VIBE排行榜。
CodeArena
CodeArena 是一个面向开发者和 AI 研究者的开源工具，它不仅为开源编码模型提供了一个公平竞技的舞台，也为社区提供了一个可视化、可交互、可部署的模型评估平台。随着越来越多的模型加入，CodeArena 有望成为开源编程模型领域的重要参考工具。
Artificial Analysis
Artificial Analysis 是一个专注于 AI 模型和提供商分析的网站，通过提供性能基准测试和区域性报告，帮助用户做出明智的选择。其内容覆盖广泛，包括语言模型、图像模型等，并特别关注全球AI趋势，如中国市场的动态。对于需要深入了解 AI 选项的用户，该网站是一个有用的工具，尤其是在性能比较和趋势分析方面。
WorldVQA
WorldVQA是一个旨在衡量多模态大语言模型（MLLM）事实正确性的新基准。尽管最近发布的模型在视觉推理和描述方面展现出了令人印象深刻的能力，但衡量它们在视觉世界知识方面的可靠性仍然是一个挑战。
