LLM-as-a-Verifier

LLM-as-a-Verifier 是一个创新的通用评估框架，为大语言模型（LLM）驱动的智能体（Agents）提供无需额外训练即可使用的细粒度反馈。该框架通过深度挖掘评分 Token logits 的完整分布，不仅捕获了评估过程中的不确定性，还实现了在评分粒度、重复评估和标准分解三个维度上的扩展。其生成的连续奖励信号可直接用于测试时扩展（Test-time Scaling）、实时进度跟踪以及强化学习（RL）训练。

核心功能与优势

• 🚀 极简且可扩展的 API：
  提供 llm_verifier.select、compare 和 track 等核心接口，开发者仅需几行代码即可实现最佳-of-N 选择、成对评分及轨迹进度跟踪，极大地降低了集成门槛。
• 💎 细粒度连续奖励：
  不同于传统的二元（正确/错误）评估，该框架通过多维度验证生成 [0, 1] 范围内的连续奖励值。这种高密度的反馈信号能更精准地反映代理表现的细微差异。
• ⚡ 成本高效的 Best-of-N 选择：
  引入 概率性主元锦标赛（Probabilistic Pivot Tournament, PPT） 算法。相比全量轮询的 $O(N^2)$ 复杂度，PPT 仅通过 $O(Nk)$ 次成对验证即可对 $N$ 个候选轨迹进行排名，将计算预算智能集中在不确定的顶级候选项上，显著降低推理成本。
• 📈 实时与离线进度跟踪：
  支持在代理执行过程中在线评分，或在任务完成后离线分析。相同的细粒度奖励机制可贯穿整个轨迹，帮助开发者监控代理的决策路径与中间状态。
• 🖼️ 多模态支持：
  API 原生支持图像和视频输入，使得验证器不仅能评估文本代理，还能有效评分基于视觉语言模型（VLM）的代理及机器人部署任务。
• 🏆 SOTA 性能表现：
  在多个权威基准测试中取得最先进结果：
  • Terminal-Bench V2: 86.5%
  • SWE-Bench Verified: 78.2%
  • RoboRewardBench: 87.4%
  • MedAgentBench: 73.3%

应用场景

1. 测试时扩展 (Test-time Scaling)：通过 Best-of-N 选择，从多个生成的候选答案中筛选出最优解，提升最终输出质量。
2. 强化学习 (RL) 训练：提供的密集奖励信号可直接作为 RL 的目标函数，显著提高离线和在线 RL 的样本效率，加速代理策略的收敛。
3. 复杂任务调试：利用进度跟踪功能，识别代理在多步任务中的失败节点，优化提示词或工具调用逻辑。
4. 多模态代理评估：为涉及视觉理解、机器人操作等复杂场景的代理提供标准化的量化评估手段。