ToolGrad

想要训练大模型稳定调用工具，需要大量「用户查询 + 对应工具调用链路」的配对数据集。但传统方式大规模生产这类数据，速度慢、成本高昂。来自 Google、东京大学、RIKEN AIP 与东北大学的联合团队推出 ToolGrad，改变了过往的数据构建思路：先搭建经过验证可正常执行的工具调用链，再反向生成匹配这条链路的用户查询。只用 500 条 ToolGrad 样本微调后的 Gemma-3 模型，在伯克利函数调用排行榜（BFCL）上，性能可以对标前沿闭源大模型。

项目可直接部署，代码采用 Apache-2.0 许可证，ToolGrad-500 数据集、1B/4B/12B 版本模型已上传至 Hugging Face，同时提供 PyPI 软件包。

核心创新：从“查询优先”到“答案优先”

传统的数据生成管道（如 ToolBench）通常遵循“查询优先”模式：先让 LLM 编造一个问题，再尝试寻找解决路径。这种方式效率低下，因为大量的搜索会走进死胡同，导致计算资源浪费且样本丢弃率高。

ToolGrad 彻底反转了这一逻辑：

1. 先构建链：通过实际执行 API，构建一条经过验证的、可工作的工具调用链。
2. 后编写查询：基于这条确定的链条，反向生成匹配的用户查询。

优势：由于链条是真实可行的，从链到查询的转换只需一次 LLM 调用，极大地提高了生成的确定性和效率。

四模块循环架构

ToolGrad 通过四个模块的迭代循环来生成高质量样本：

1. API Proposer（提议者）：从庞大的 API 库中筛选出能扩展当前工作流的候选 API。
2. API Executors（执行者）：并行运行候选 API，生成详细的执行报告。
3. API Selector（选择者）：审查报告，利用“文本梯度”方向性反馈，选择表现最佳的调用并附加到工作流中。
4. LLM Updater（更新者）：重写合成用户查询和 AI 响应，使其与新加入的 API 步骤完美匹配。

默认配置下，每个工作流进行 10 次迭代，最终产出一个包含“用户查询 + 验证过的 API 链 + 最终响应”的高质量样本。

性能表现：效率与质量的双重飞跃

1. 数据生成效率 (vs. ToolBench DFS)

2. 模型微调效果 (伯克利函数调用排行榜 BFCL)

研究人员使用 ToolGrad 生成的 500 个样本对 Gemma-3 系列模型进行了后训练，结果令人瞩目：

• Gemma-3-12B：得分 83.1，几乎追平 Gemini 2.5 Pro (83.2)，并超越了 Claude 4.5 Opus (82.8) 和 GPT-5 (74.4)。
• 学生超越教师：ToolGrad-12B 的表现优于其训练数据的生成者——Gemini 2.5 Flash-Lite。
• 开源领先：大幅领先于 ToolACE 和 Hammer-2.1-7B 等开源工具使用专家模型。

部署与可用性

• 开源协议：代码采用 Apache-2.0 许可证。
• 资源获取：
  • 数据集：ToolGrad-500 已上传至 Hugging Face。
  • 模型：提供 1B、4B 和 12B 参数的 Gemma-3 微调版本。
  • 工具包：提供 PyPI 包，方便开发者集成。
• 复现支持：仓库包含针对 BFCL V1/V2 的复现脚本，支持在单张 NVIDIA A100 40GB 上通过 vLLM Docker 镜像运行推理。