NEEDLE

NEEDLE (News, Everyday, Expert, Deep-tail, and Legal Evaluation) 是由 Keenable AI 发布的一个开源、实时的网页搜索 API 基准测试框架。它旨在解决传统静态数据集在评估具备工具调用能力的 AI 代理时面临的“答案泄露”和“记忆过拟合”问题。通过每小时或每天从新鲜公共源重建查询集，NEEDLE 确保了评估的动态性和真实性，并为开发者提供了一个衡量搜索质量上限的“Ultimate”参照系。

核心痛点与解决方案

• 痛点：
  • 答案泄露：如果标准答案存在于公共数据集中，拥有网络访问权限的 AI 代理可以直接下载答案，跳过真正的检索过程。
  • 参数记忆：模型可能仅凭训练数据中的记忆回答问题，而非通过有效的网页搜索。
  • 静态过拟合：固定的测试集容易被模型或搜索引擎针对性优化，无法反映真实世界的动态变化。
• NEEDLE 的方案：
  • 实时重建：新闻查询每小时从 RSS 和 Google Trends 生成；金融、学术、法律和深尾查询每天从 SEC XBRL、arXiv、CourtListener 等源头更新。
  • 无固定答案键：由于查询是动态生成的，不存在预先固定的“正确答案”，迫使代理必须执行真实的检索。

五大评估垂直领域

NEEDLE 模拟了不同用户意图下的搜索场景：

独特机制：“Ultimate” 上限引擎

NEEDLE 引入了一个名为 Ultimate 的合成裁决引擎，它将所有参与测试的 15 个搜索 API 返回的结果池化，并按相关性重新排序。

• 作用：标记整个搜索领域在特定查询下能够找到的最佳内容上限。
• 洞察价值：
  • 差距大：说明存在高质量结果，但单个引擎未能有效检索或排名（排名问题）。
  • 上限低：说明即使池化所有引擎，也找不到有力证据（市场共有的检索盲区）。

当前性能快照 (截至 2026-08-28)

• 金融领域：接近解决，Exa (0.910) 领先，多数引擎在 0.77-0.91 之间，Ultimate 上限为 0.965。
• 学术领域：分布较广，Keenable (0.774) 优于 Tavily (0.310)，Ultimate 上限为 0.869。
• 深尾领域：最具挑战性，Exa (0.557) 和 Keenable (0.470) 领先，Bing 仅为 0.199。这反映了真实代理在处理稀有实体时的困难。
• 延迟表现：Keenable-realtime (p50: 193ms) 显著快于 Exa (1,876ms) 和 Bing (2,767ms)，这对需要多次调用的 AI 代理至关重要。

如何使用与复现

NEEDLE 是一个完全开源的 Python CLI 工具，采用 MIT 许可证。

1. 安装：

   uv sync
   

2. 配置：需要 OpenRouter API Key（用于 LLM 裁决）及各搜索引擎的 API Key。
3. 运行：
   • needle generate：生成最新的查询集。
   • needle run：执行基准测试并生成报告。
4. 透明度：所有代码在 GitHub Actions 中公开执行，每次运行的产物发布至 Hugging Face 数据集，确保完全可复现。