Harvey 推出 Harvey Tenet:基于 Kimi K3 的长时程法律代理模型

早报2个月前发布 小马良
124 0

Harvey 正式发布了 Harvey Tenet,这是其首个专为长时程法律代理工作设计的后训练模型。作为研究预览版,Tenet 基于开放权重的 Kimi K3 基础模型,通过 Fireworks 平台利用异步强化学习(RL)进行深度优化。该模型在保留任务完成度、合同审查准确率及跨基准迁移能力上均取得了显著突破,旨在为律师事务所提供拥有专属专业模型的可行路径。

  • 官方介绍:https://www.harvey.ai/blog/post-training-update-harvey-tenet
Harvey 推出 Harvey Tenet:基于 Kimi K3 的长时程法律代理模型

核心亮点与性能表现

  • 显著的性能提升:
    • 在 Harvey 的法律代理基准(LAB)上,Tenet 完成的保留任务数量较基础 K3 模型几乎翻倍。
    • 在 LAB: Contracts 子项中,任务完成率增加 20%,全通率(Pass-all Rate)分别提高 9 和 2 个百分点。
    • 在 LAB: Contracts 上达到最先进水平(SOTA),在整体 LAB 基准上排名第二。
  • 强大的泛化与迁移能力:
    • Tenet 的优势不仅限于训练数据,其在未见过的基准测试中同样表现出色:在 Mercor 的 APEX Agents(公司法)和 Crosby 的 Redline Bench 上均有显著提升。
    • 在 LegalBench、CUAD、MAUD 和 Scale 的 PRBench 等传统知识基准上保持稳健性能,证明代理训练并未削弱基础的法律推理能力。
  • 成本与质量的协同优化:
    • 通过奖励塑造偏好更短的推理轨迹,Tenet 在提升质量的同时降低了 Token 消耗。
    • 结合开放权重模型的低每 Token 价格,实现了“更高智能、更低成本”的双重收益。

训练方法与技术架构

  • 异步强化学习 (Async RL):
    • 在包含约 1,750 个环境的沙盒法律环境中进行训练,每个环境模拟真实的法律任务(如合伙人指令、客户事项文件、专家评分标准)。
    • 使用 GSPO 优化策略,通过覆盖完整 K3 网络的 rank-64 LoRA 进行微调。
    • 每次发布可超过 1,000 轮,由 LLM-as-a-judge 进行评分,奖励结合评分标准满足比例、解决的问题计数及全通奖励。
  • Fireworks 基础设施支持:
    • 在内核层面共同构建训练器和发布部署,采用 token-in-token-out 和路由器重放技术,确保大型 MoE 模型在训练和推理间的数值一致性。
    • 训练耗时约两个月,使用了约 150 个 NVIDIA B300 GPU。
  • 数据隐私承诺:
    • 训练语料结合了合成数据、公开可用的法律数据和人类专家数据,未使用任何客户数据。

三大专项能力模块

除了通用的 Tenet 模型,Harvey 还展示了针对特定法律场景的后训练成果:

  1. 并购尽职调查 (M&A Diligence):
    • 处理高达 8,000 万 Token 的数据室文档。
    • 通过与 Baseten 合作开发的递归语言模型 harness,GLM-5.2 编排器经自蒸馏后,标准通过率从基线的 43.8% 提升至 60.1%。
  2. 审查表 (Review Tables):
    • 与 Applied Compute 合作,后训练的 GLM-5.2 在每单元成本降低约 90% 的情况下,答案质量提高 3.6 分,引用质量提高 12.1 分,并学会了在问题不适用时主动弃权。
  3. 事务所知识记忆 (Firm Knowledge):
    • 与 Engram 合作,Qwen3.8-27B 模型将约 1 亿 Token 的客户事项压缩为 100 万 Token 的结构化知识加参数化记忆。
    • 标准通过率提高 15% 以上,每查询成本下降约 90%,每 Token 智能得分远超前沿配置。

部署与访问现状

  • 当前状态:研究预览版。Harvey Tenet 目前不开放权重下载,也无公共 API 端点。发布的仅是“配方”而非最终工件。
  • 访问方式:仅限通过 Harvey 的企业平台访问,主要面向律师事务所、中型律所及企业内部法务团队。
  • 未来规划:Harvey 表示这项工作将逐步从“研究转向生产”,最终集成到其产品矩阵中。拥有 RL 栈的实验室可尝试重现该方法。

适用场景

  • 并购尽职调查:快速遍历海量数据室文档,生成结构化备忘录。
  • 合同全生命周期管理:起草、审查、修订及跨文档结构化提取(支持最多 10,000 份文档)。
  • 先例搜索与知识管理:跨事务所累积历史案例知识,实现高效检索与应用。
  • 受监管行业合规:适用于保险、金融服务、医疗保健、能源等合同量大且合规要求高的行业。
© 版权声明

相关文章