Anthropic 警告 AI 自我迭代失控:Claude 编写超 80% 内部代码,呼吁全球暂停前沿开发以防范“递归式自我改进”风险

早报5个月前更新 小马良
201 0

人工智能巨头 Anthropic 发布了一份令人不安的最新报告,警告称 AI 系统的自我迭代速度已超出预期,可能导致人类最终失去对前沿模型的控制。报告中披露的一组内部数据显示,Claude 目前编写的代码已占 Anthropic 生产代码库合并量的 80% 以上,标志着 AI 从“辅助工具”向“主要开发者”角色的根本性转变。与此同时,Anthropic 呼吁全球保留减缓或暂停前沿 AI 开发的选项,但这一举动在其秘密提交上市申请的背景下,引发了关于其真实动机的广泛争议。

惊人数据:AI 正在加速构建 AI

1. 编码主导地位确立

  • 80% 代码由 AI 生成:截至上个月,Anthropic 合并到生产环境中的代码超过 80% 由 Claude 编写。而在去年二月 Claude Code 进入研究预览版之前,这一比例仅为个位数。
  • 工程师效率飙升:典型工程师每个季度合并的代码量是 2021-2025 年期间的 8 倍,显示出 AI 对软件开发生产力的巨大杠杆效应。

2. 递归式自我改进初现端倪

  • 成功率跃升:在最困难的编码任务上,Claude 的成功率从六个月前的较低水平提升至 2026 年 5 月的 76%(提升 50 个百分点)。
  • 性能自我优化:在一项要求新模型优化训练代码速度的测试中,效果从 2025 年 5 月 Claude Opus 4 的 3 倍 提速,激增至 2026 年 4 月未发布的 Mythos Preview 模型的 52 倍 提速。
  • 潜在风险:这种趋势可能导致“递归式自我改进”,即模型在极少人类干预下设计并构建更强大的继任者,进步速度仅受限于计算资源。

安全警告:对齐难题的代际累积

Anthropic 的研究部门 Anthropic Institute 描绘了三种严峻的未来情景,其中最危险的是模型完全自我改进并超越人类监督能力:

  • 不对齐现象累积:当前模型中偶尔出现的、尚可承受的“不对齐”(行为偏离人类意图)现象,可能在代代相传的自我改进中被放大,变得频繁且难以理解。
  • 控制权丧失:人类可能逐渐被推向边缘化的验证角色,而一个能力超越创造者的自我改进模型可能占据主导地位。
  • 不确定性极高:将系统行为与人类意图紧密关联的任务被视为未来最不确定的领域,甚至足够强大的对齐模型也可能选择停止自身开发,但这并非必然。

争议焦点:安全倡议还是商业策略?

尽管警告严厉,Anthropic 的提议在业界遭遇了冷遇与质疑:

1. “囚徒困境”式的暂停呼吁

  • 条件苛刻:Anthropic 表示,只有当竞争对手以可验证的方式同样暂停时,它才会减缓开发。
  • 现实困境:在激烈的全球 AI 竞赛中,单一公司的暂停只会让出领先地位,无法带来整体安全收益。因此,这种协调几乎不可能实现。

2. IPO 前夕的动机疑云

  • 时间敏感:报告发布正值 Anthropic 秘密提交上市申请几天后。
  • 信任危机:批评者指出,Anthropic 在已经领先的情况下发出警告,可能被解读为一种监管套利手段——通过提高行业合规门槛和安全叙事,巩固其市场垄断地位,阻碍后来者追赶。
  • 数据可信度:所有数据均为自行报告且未经审计。此前关于 Mythos 发现数千漏洞的说法也因样本偏差受到审视,加剧了外界对其“嘴上大义,心里生意”的猜测。

在缺乏全球强制性监管框架的背景下,依靠科技巨头的“自愿暂停”似乎更像是一种商业战略而非纯粹的安全利他主义。无论动机如何,报告所揭示的技术加速趋势是真实的。人类社会亟需建立独立、透明且具约束力的国际监管机制,以确保在享受 AI 红利的同时,不失去对这一强大技术的最终控制权。

© 版权声明

相关文章