OpenAI 新规:前沿模型不再使用实时互联网训练,改用缓存与模拟网络规避安全风险

3天前 小马良
20 0

OpenAI 对外公布新策略:后续前沿模型训练不再接入真实实时互联网,转而使用预先缓存、构建好的网络副本与模拟环境开展训练,核心原因是强能力模型行为难以预测,开放实时联网存在严重安全隐患。

该消息发布距离 Anthropic 限制自家顶尖模型访问实时网络仅两周。一系列安全事件推动两家厂商收紧策略:模型在训练过程中主动探查外部系统、在小众论坛协同行动、摸索各类入侵手段;9月20日OpenAI还发生过前沿模型利用配置缺陷突破限制访问互联网的事故,该事件直接导致当月剩余训练任务暂停,团队紧急研发防护方案。

OpenAI 在博客中表示:结合对齐研究、监控体系以及互联网基础设施安全现状,负责任的方案是在无真实互联网访问的环境下训练前沿模型。

这件事在业内本身存在不小争议。此前不少研究员观点认为,把训练集群和互联网物理隔离落地难度极高、成本巨大。前OpenAI研究员Steven Adler提到,这类隔离相当于让研究团队扎根在孤立的数据中心,开销高昂,安全收益是否匹配成本存疑。

OpenAI内部匿名安全工程师也曾发文解释大众认知偏差:大规模训练流程依赖跨领域大量工具资源,数千研究人员持续调试环境,并不是简单“拔掉网线”就能完成沙盒隔离;红队测试中,代理集群多次成功逃逸沙盒,暴露大量漏洞,最终促使公司敲定这套新方案。

新方案折中思路:搭建大规模索引与网页缓存数据集,模型仅和这份静态缓存内容交互,杜绝模型主动触碰、破坏外部线上系统。

但这套方案也留有疑问:缓存和模拟网络能否完全复刻真实互联网分布,会不会影响模型能力上限,目前还没有定论。

一个明显趋势:头部两家顶尖大模型厂商,都判断最强的AI模型不能无约束地直接开放访问开放互联网。