Open Agent Leaderboard

在 AI 代理（Agent）日益成为生产力核心的今天，我们往往陷入一个误区：认为模型的能力决定了代理的上限。然而，IBM 最新发布的 Open Agent Leaderboard（开放代理排行榜） 揭示了一个被忽视的事实：代理的效果取决于它的构建方式，而不仅仅是内部的模型。

为了更真实地反映代理在实际部署中的表现，IBM 推出了这一开放基准，不仅评估质量，还严格考量成本，旨在回答一个核心问题：你的代理实际上有多通用？它是否值得部署？

核心理念：从“模型评估”到“系统评估”

传统的 AI 评估报告通常只关注模型在特定基准测试上的得分。但在实际应用中，一个代理是一个复杂的系统，包含：

• 工具使用：代理能访问哪些 API 或函数？
• 规划能力：它如何拆解任务步骤？
• 记忆管理它在行动间保留什么上下文？
• 错误恢复：遇到挫折时如何重试或调整策略？

改变其中任何一项，即使使用相同的底层模型，代理的表现和成本也可能天差地别。Open Agent Leaderboard 正是为了衡量这种完整系统的性能而生。

评估体系：六大基准测试通用性

为了测试代理的通用性（即在陌生环境中无需手动定制即可工作的能力），IBM 组装了六个涵盖不同现实场景的基准测试，并通过统一的协议将它们标准化：

1. SWE-Bench Verified：修复真实代码仓库中的 Bug（编码能力）。
2. BrowseComp+：通过网络研究解决复杂问题（信息检索与分析）。
3. AppWorld：跨数百个应用完成个人任务（个人助理能力）。
4. tau2-Bench 航空与零售：遵循公司政策的客户服务（合规性与多轮对话）。
5. tau2-Bench 电信：遵循政策的技术支持（复杂逻辑与故障排查）。
6. (注：原文提及六个，列举了五个主要类别，通常包含综合研究类)

这种组合测试确保了评估的全面性：一个能在编码中表现优异的代理，未必能在遵循严格客服政策的环境中胜出。

关键发现：代理架构至关重要

通过分析排行榜数据，IBM团队得出了几个令人惊讶且重要的结论：

1. 相同模型，不同结果

排行榜前三名往往使用相同的底层大模型，但得分和成本却截然不同。这证明了代理系统的设计（如提示词策略、工具调用逻辑）对最终结果有决定性影响。

2. 成本差距惊人

最经济的配置价格仅为最强配置的一小部分。更重要的是，失败的成本高昂实验显示，失败运行的成本比成功运行高出 20% 到 54%。这意味着，一个容易陷入死循环或无效尝试的代理，其账单可能远超预期。

3. 通用代理已具竞争力

未经过特定基准微调的通用代理，在许多任务中已经能够匹配甚至优于专门针对该任务构建的系统。这表明单一代理处理多种工作的时代正在到来。

4. 工具筛选的价值

简单的工具筛选机制（帮助代理聚焦于相关工具）显著提升了所有模型的性能，甚至将一些原本失败的配置变成了可行方案。这说明，优秀的代理设计可以弥补模型能力的不足。

Exgentic：开放复现的基础设施

为了确保透明度和可复现性，IBM 同步发布了 Exgentic 框架。这是一个用于运行和复现评估的开源工具，允许开发者：

• 在本地运行相同的基准测试。
• 提交自己的代理系统进行排名。
• 挑战现有结果，找出评估中的盲点。

一切从一开始就是开放的，旨在建立一个社区驱动的评估标准。

现状与展望

目前，排行榜已涵盖五个代理框架和六个基准测试。数据显示，虽然开源权重模型在特定组合上具有竞争力，但在平均表现上仍落后于前沿闭源模型 18 到 29 个百分点。

IBM 呼吁社区共同参与：

• 代理开发者：开放系统组件，记录内部逻辑。
• 基准创建者：扩展评估环境的多样性。
• 所有人：复现结果，提出批评，共同完善标准。