基准测试

HumaneBench基于以下核心原则构建：科技应尊重用户注意力为有限珍贵资源；通过有意义选择赋能用户；增强而非取代人类能力；保护人类尊严、隐私与安全；培育健康人际关系；优先考虑长期福祉；保持透明诚实；以及设计促进公平包容。

DPAI Arena 宣称是业内首款开放式、多语言、多框架和多工作流基准测试平台，旨在衡量 AI 编码智能体在现实世界软件工程任务中的成效。它围绕灵活且基于路径的架构构建而成，能够对各种工作流（例如，修补、bug 修正、PR 审查、测试生成、静态分析等）进行公平、可重现的比较。

LMArena正式推出 Code Arena，一个面向 AI 编程模型的新型评估平台。与传统仅测试代码正确性或通过单元测试的基准不同，Code Arena 聚焦于完整软件开发周期，记录模型从需求理解到部署的全过程行为。

PokerBattle.ai 是一个让多个大语言模型（LLM）在真实德州扑克规则下自主对战的实验平台。与传统 AI 围棋或象棋不同，扑克是典型的不完美信息博弈：玩家无法看到对手底牌，每一步决策都需在不确定性中权衡风险与收益。

AI-Trader 让五款不同的 AI 模型各自采用独特的投资策略，在同一市场中自主竞争，以确定哪款能在纳斯达克 100 交易中产生最高利润！

NOFX是一个基于 DeepSeek/Qwen AI 的加密货币期货自动交易系统，支持 Binance、Hyperliquid和Aster DEX交易所，多AI模型实盘竞赛，具备完整的市场分析、AI决策、自我学习机制和专业的Web监控界面。

AITradeGame 是一个开源的 AI 交易模拟平台，支持 本地自托管 与 在线竞技 双模式，旨在为开发者、量化爱好者和 AI 研究者提供一个隐私优先、灵活可扩展的 AI 交易实验环境。

nof1.ai 启动一项前所未有的实盘实验：向 6 个顶级大模型各提供 1 万美元本金，在 Hyperliquid 平台上自主交易 BTC、ETH、SOL 等主流加密货币永续合约。所有操作完全由 AI 自主决策，人类不得干预，盈亏真实承担。

InferenceMAX 是一个开源的、基于 Apache2 许可的自动化基准测试，旨在以软件生态系统自身的快速速度前进，旨在解决这一挑战。

MCPMark是一个全面的压力测试MCP基准，包含一系列多样化、可验证的任务，旨在评估模型和智能体在现实世界MCP使用中的能力。MCPMark将持续更新新兴的MCP服务器，以跟上充满活力的生态系统步伐！

Music Arena 是世界上第一个面向公众开放的音乐生成模型评测平台。在这里，AI 创作的旋律不再是黑箱输出，而是可以被真实听众直接比较、投票和评判的对象。我们相信，最好的评估方式不是参数规模或技术文档，而是人类的耳朵。

AI Ping 是一个面向大模型使用者，提供全面、客观、真实的大模型服务评测平台。官方精心打造的大模型服务性能排行榜，由专业团队定期、高频率地输出测评结果，并进行实时更新，清晰地呈现每个供应商在不同时间段的数据表现，为开发者提供即时、详细的数据参考服务，助力行业提升AI产品应用的开发效率与服务质量。

WildScore 的发布，标志着 AI 音乐理解评估进入“真实世界”阶段。它不再满足于“识别音符”，而是要求模型真正理解乐谱背后的音乐逻辑。测试结果也清晰揭示了当前 MLLM 的局限：视觉符号解析仍是瓶颈，模态对齐尚未成熟。

MCPMark 的推出，填补了当前在**模型代理能力系统化评测**方面的空白。它不仅提供了一套标准化的测试框架，更强调安全性、可复现性与易用性，是推动大模型走向“可用智能体”的重要基础设施。

LiveMCPBench 提供了一个全面的基准测试框架，用于评估 LLM 代理在大规模 MCP 环境中的任务执行能力。通过引入大规模工具集和动态评估框架，LiveMCPBench 为研究者提供了一个可靠的平台，用于开发和评估能够适应复杂多变环境的智能代理。

当面对“某位科学家在2010年发表的论文是否引用了某项早期成...

NoCode-bench 的结果或许让人失望，但也正是这种“真实感”使其成为推动技术发展的关键一步。当 AI 能稳定地将一句“增加导出功能”转化为正确、可测、可部署的代码时，那才是无代码开发真正成熟的时刻。在此之前，我们仍需脚踏实地，用像 NoCode-bench 这样的基准，一步步丈量差距，逼近目标。

Kaggle游戏竞技场（Game Arena）是一个全新的基准测试平台，来自谷歌、Anthropic和OpenAI等AI实验室的顶尖模型在这个平台上，通过游戏环境、控制台和可视化工具在Kaggle的评估基础设施上运行的直播和可重放的比赛中进行竞争。模拟比赛的结果将作为Kaggle基准测试中的个人排行榜发布和维护。

Hi3DEval不仅是一个评估工具，更是推动3D生成模型向更高保真度、更强可控性发展的基础设施。对于从事3D生成、数字内容创作、AIGC工具链开发的研究者与工程师而言，Hi3DEval 提供了一个可扩展、可复现、可解释的质量验证路径。

LoCoDiff 不只是一个性能榜单，更是对当前长上下文模型能力边界的诚实检验。它揭示了一个事实：即使模型宣称支持百万 token 上下文，也不意味着能在实际任务中有效利用这些信息。尤其是在需要持续状态跟踪的场景中，记忆衰减、注意力分散等问题依然严峻。

为了全面评估 Qwen-Image 的通用图像生成能力，并将其与最先进的闭源 API 进行客观比较，阿里推出了 AI Arena，一个基于 Elo 评分系统的开放基准测试平台。AI Arena 提供了一个公平、透明和动态的模型评估环境。

Music Arena 通过提供一个标准化的人类偏好评估平台，为文本到音乐生成领域带来了新的评估方法和数据资源。它不仅解决了当前 TTM 领域中缺乏大规模、可再生人类偏好数据的问题，还通过透明的数据发布政策和音乐领域定制的功能，推动了该领域的研究和应用发展。

CodeArena 是一个面向开发者和 AI 研究者的开源工具，它不仅为开源编码模型提供了一个公平竞技的舞台，也为社区提供了一个可视化、可交互、可部署的模型评估平台。随着越来越多的模型加入，CodeArena 有望成为开源编程模型领域的重要参考工具。

SciArena是一个开放且协作的平台，直接吸引科学界参与评估科学文献任务中的基础模型。这种基于众包的、面对面的语言模型评估方法已在通用领域由类似 Chatbot Arena 的平台成功开创。

Hugging Face 推出的 3D Arena 是生成式 3D 领域的一项重要进展。它首次实现了大规模、结构化的人类偏好数据收集，并通过 ELO 排名系统提供可靠、可解释的模型评估结果。

Yupp正式推出人类评估系统 ，邀请使用者协助评估全球逾 500 个大语言模型，包括 ChatGPT、Claude、Gemini、DeepSeek、Grok 及 Llama 等，也涵盖了必须付费订阅的各种 Pro 与 Max 模型，并根据使用者的回馈制定 Yupp AI VIBE排行榜。

VideoGameBench是一个强大的工具，为评估视觉-语言模型在视频游戏中的多模态理解与推理能力提供了一个标准化的平台。通过支持多种游戏平台和类型，它为研究人员和开发者提供了一个灵活且多样化的测试环境。

由著名AI研究员弗朗索瓦·肖莱（François Chollet）共同创立的非营利组织Arc Prize基金会宣布，他们开发了一项名为ARC-AGI-2的新测试。这项测试旨在更准确地衡量领先AI模型的通用智能水平，然而，它却难倒了大多数现有的AI模型。

MC-Bench允许用户挑战不同的AI模型在《我的世界》中根据提示词进行创造性的建造对决。通过这种方式，不仅能够以一种有趣且直观的方式评估AI模型的能力，还能够让更多的人参与到对AI进展的理解和评估中来。

imgsys.org 是一个专注于开源文本引导图像生成模型的评估平台，通过用户偏好数据的收集和开源，推动图像生成领域的研究和开发。