Anthropic开放员工级内部权限给第三方评估机构METR,常驻团队入驻办公,独立发布风险评估报告

1周前 小马良
29 0

Anthropic正式对外开放近似员工级别的内部访问权限,邀请非营利机构METR团队进驻公司办公场地,使用Anthropic硬件与内部系统,开展AI模型灾难性风险评估,以此兑现外部审计承诺,回应社会对强人工智能失控风险的担忧。

这项举措也是此前Dario Amodei提出、获得Sam Altman与马斯克支持的头部AI实验室派驻外部审计方案的首个落地动作。本次入驻共计6名METR工作人员,权限对标Anthropic内部风险评估团队,Anthropic不向METR支付合作费用,METR资金来源为慈善捐赠与政府机构资助,评估报告由METR自主发布,Anthropic不能否决报告,仅可要求删减客户数据、法律保密信息、模型架构等特定敏感内容。

同时Anthropic还联合埃森哲、SecureBio分别开展通用安全测试与生化武器相关风险审查。该公司正推进估值超2万亿美元的IPO,安全体系建设也是面向投资者重点展示的内容。但批评声音指出,这套驻场评估机制依然存在潜在利益冲突,呼吁更强的政府监管。

核心要点

  1. METR驻场机制

METR团队进驻Anthropic办公区,获得硬件、内部系统、工具访问权限,权限水平接近公司内部风险评估人员;公司鼓励员工像对接内部风控同事一样与其沟通。METR不从Anthropic获取报酬,资金独立,保障评估的中立基础。评估报告由METR决定是否对外发布,Anthropic没有否决权,仅可申请移除特定敏感信息。

  1. 多机构分工
  • METR:常驻内部,评估模型灾难性失控风险;此前也曾参与Hugging Face遭遇AI模型攻击事件的调查。
  • 埃森哲:安全测试合作伙伴,双方各承诺至少投入10亿美元共建安全防护体系。
  • SecureBio:专项审查化学、生物武器相关AI风险。
  1. 行业背景与各方态度

Anthropic CEO Dario Amodei提出头部AI实验室派驻外部审计人员的方案,获得OpenAI的Altman、马斯克的支持,但OpenAI暂未推出同类落地计划。Anthropic将这套机制类比银行常驻监管人员,提前识别威胁公共利益的风险隐患;批评者参考审计行业过往弊端,认为仍存在利益冲突,需要政府层面更强硬监管。

  1. 与IPO的关联

Anthropic计划推进估值超2万亿美元的IPO,安全能力建设是投资者路演材料中的重点板块,需要向市场证明AI安全管控不会阻碍公司上市进程。同时公司也提到,无法把全部安全研究信息对外公开,防止被恶意使用者或竞争对手利用。