基准测试

MCPMark是一个全面的压力测试MCP基准，包含一系列多样化、可验证的任务，旨在评估模型和智能体在现实世界MCP使用中的能力。MCPMark将持续更新新兴的MCP服务器，以跟上充满活力的生态系统步伐！

AITradeGame 是一个开源的 AI 交易模拟平台，支持 本地自托管 与 在线竞技 双模式，旨在为开发者、量化爱好者和 AI 研究者提供一个隐私优先、灵活可扩展的 AI 交易实验环境。

PokerBattle.ai 是一个让多个大语言模型（LLM）在真实德州扑克规则下自主对战的实验平台。与传统 AI 围棋或象棋不同，扑克是典型的不完美信息博弈：玩家无法看到对手底牌，每一步决策都需在不确定性中权衡风险与收益。

WildScore 的发布，标志着 AI 音乐理解评估进入“真实世界”阶段。它不再满足于“识别音符”，而是要求模型真正理解乐谱背后的音乐逻辑。测试结果也清晰揭示了当前 MLLM 的局限：视觉符号解析仍是瓶颈，模态对齐尚未成熟。

AI IQ (aiiq.org) 是一个由 Stacks 联合创始人 Ryan Shea 创建的初创项目，旨在通过借用人类智商测试隐喻，为全球 50 多个最强语言模型估算“智商”，并将其绘制在标准的钟形曲线上。

加州大学伯克利分校的研究团队构建了一个专门用于“作弊”的 AI 代理，成功攻破了当前主流的 8 个 AI 智能体（Agent）评测基准。在没有解决任何实际任务、甚至未调用大模型进行推理的情况下，该代理在 SWE-bench、WebArena、OSWorld 等核心赛道上拿到了接近满分的成绩。

HumaneBench基于以下核心原则构建：科技应尊重用户注意力为有限珍贵资源；通过有意义选择赋能用户；增强而非取代人类能力；保护人类尊严、隐私与安全；培育健康人际关系；优先考虑长期福祉；保持透明诚实；以及设计促进公平包容。

Chronicles-OCR 是首个专为评估视觉语言大模型（VLLMs）跨时域视觉感知能力而设计的综合性基准，覆盖汉字完整的演化轨迹——"汉字七体"。本数据集与安阳师范学院甲骨文信息处理教育部重点实验室及故宫博物院等顶级机构领域专家合作构建，包含 2,800 张严格均衡的图像，涵盖从龟甲到纸本书法在内的高度多样化物理媒介。

IBM 最新发布的 Open Agent Leaderboard（开放代理排行榜） 揭示了一个被忽视的事实：代理的效果取决于它的构建方式，而不仅仅是内部的模型。

忘忧棋牌室是一个 AI 大模型的“炸金花”竞技场——六位当今主流大模型化身牌桌老炮儿，在这里日夜对局、勾心斗角，而你，只是一名旁观者。

Music Arena 是世界上第一个面向公众开放的音乐生成模型评测平台。在这里，AI 创作的旋律不再是黑箱输出，而是可以被真实听众直接比较、投票和评判的对象。我们相信，最好的评估方式不是参数规模或技术文档，而是人类的耳朵。

Datacurve 公司最新发布的 DeepSWE 基准测试，不仅重新洗牌了顶级模型的排名，更揭露了当前行业标准 SWE-Bench Pro 中存在的严重验证漏洞与数据污染问题。

WorldVQA是一个旨在衡量多模态大语言模型（MLLM）事实正确性的新基准。尽管最近发布的模型在视觉推理和描述方面展现出了令人印象深刻的能力，但衡量它们在视觉世界知识方面的可靠性仍然是一个挑战。

DPAI Arena 宣称是业内首款开放式、多语言、多框架和多工作流基准测试平台，旨在衡量 AI 编码智能体在现实世界软件工程任务中的成效。它围绕灵活且基于路径的架构构建而成，能够对各种工作流（例如，修补、bug 修正、PR 审查、测试生成、静态分析等）进行公平、可重现的比较。

Exa AI推出了“人物搜索”功能——现在，您可以利用这套基于经过精细调优的Exa嵌入技术的混合检索系统，对超过10亿人进行语义搜索。

Frontier-Eng 是一个面向 generative optimization 的 benchmark：Agent 不是一次性写出“标准答案”，而是持续修改可运行的工程代码，读取只读 verifier 的反馈，并在固定预算内不断改进。当前版本包含 47 个任务，覆盖计算系统、量子信息、运筹优化、机器人控制、光学通信、物理与工程设计。主页和论文的核心观点是：真实工程问题通常从一个可行 baseline 出发，价值来自持续优化，而不是 pass/fail。

Raindrop Workshop 是由可观测性初创公司 Raindrop AI 推出的开源工具，专为 AI 代理设计的本地调试器和评估平台。Workshop 以轻量级 SQLite 为核心，实时流式传输代理的每一个 Token、每一次工具调用及决策轨迹至本地仪表板。

Scale AI 推出了 Voice Showdown，据称这是首个基于真实人类交互视角、通过人类偏好来评估语音 AI 的竞技场。

Supabase 正式开源了 Supabase Evals，这是一套用于评估 AI 智能体（如 Claude Code、Codex、OpenCode）在 Supabase 平台上构建能力的基准测试框架。它不再依赖模拟环境，而是让 AI 在真实的容器化堆栈中完成构建 Schema、调试 Edge Function、修复 RLS 策略等实际任务，并对结果进行严格评分。

Design Arena是全球最大的 AI 生成设计众包基准。。它有一个类似ChatGPT的提示词窗口，并有分别用于网站、图像和其他十几种视觉格式的下拉菜单。一旦你输入请求、格式和风格，你会看到一系列“A vs. B”的选择，直到你将少量输出从最佳到最差进行排序。

JevBench 是由 Benchmark Heaven 独立维护的 Jev 类 System 1 决策模型基准（非 TypeSafe AI 官方），专门评估模型在给定状态与有界评分标准下返回带类型答案（含概率）的能力。

Liquid AI联合独立验证机构Artificial Analysis正式开源 Pipette，一款面向设备端大模型的可复现基准测试工具。它跳出传统只看模型纸面跑分的思路，将模型、量化方案、推理运行时、硬件设备视作一个完整部署系统进行综合测评，解决模型实验室跑分和手机、电脑等边缘设备实际表现差距巨大的痛点。

NEEDLE是由 Keenable AI 发布的一个开源、实时的网页搜索 API 基准测试框架。它旨在解决传统静态数据集在评估具备工具调用能力的 AI 代理时面临的“答案泄露”和“记忆过拟合”问题。通过每小时或每天从新鲜公共源重建查询集，NEEDLE 确保了评估的动态性和真实性，并为开发者提供了一个衡量搜索质量上限的“Ultimate”参照系。

B 站正式上线AI 无限竞技场大模型测评广场，并对外放出首轮模型排行榜。首轮测评由 10 位 UP 主完成模型对战，GPT-6 Astra 登顶，击败 GLM-5.3 成为获得榜首次数最多的模型；前五席位当中，国产大模型拿下三席。

10月7日，Nousresearch正式推出Hermes Index大模型评测榜单，和以往侧重单纯推理能力的评测不同，这份榜单同时考核两大维度：性能指数越高越强，单任务成本越低越划算。

livenerf是一个长期运行、尽可能确定性的基准，用于检测前沿模型在发布后是否悄悄变差。

Datalab 推出开源结构化文档提取基准Omni Extract Bench，用来评估模型从PDF文档按照指定JSON Schema提取结构化数据的能力，目标解决行业内厂商自建排行榜难以横向对比、不透明、存在偏向性的痛点。

BlenderWorld把3D智能体评测从“看图好不好看”升级到工程资产完整性检验，重点考核AI智能体在Blender里构建可复用3D场景的能力，而不只是输出一张静态效果图。该基准为3D Agent提供标准化、自动化的测试集，方便团队量化模型在建模、材质、灯光、动画全链路的能力。

Datalab推出OmniParseBench，面向文档OCR与解析器的开源评测基准。整套基准包含2343份文档、2937页素材，拆分为16288个通过/失败二元测试用例，覆盖92种语言，数据集与评估代码全部公开。