微软CEO纳德拉:前沿AI模型必须配备“紧急刹车”,任务中途可人工关停

2周前 小马良
21 0

微软首席执行官萨提亚·纳德拉(Satya Nadella)在X平台发布长帖,围绕AI信任架构与安全管控提出系统性观点,成为近期又一位公开发声探讨前沿AI安全的科技企业高管。

微软CEO纳德拉:前沿AI模型必须配备“紧急刹车”,任务中途可人工关停

纳德拉认为,不能把超级智能当作多层嵌套的黑箱,简单接受或者拒绝模型给出的建议与动作。他提出核心思路:将模型本身和调度执行任务的管控层(harness)相互分离,把安全控制机制外置,不能把安全保障内嵌绑定在模型内部。

核心安全设计要点

设计要求说明
行为留痕模型每一项关键动作,都要生成防篡改、人类可读的证据记录,完整留存审计依据
人工紧急干预授权人员随时拥有权限,能够在任务执行中途暂停、直接关闭模型运行,即“紧急刹车”
预设被入侵假设系统设计之初就要假定模型已经遭到入侵,提前做好隔离与约束,而不是默认模型安全

纳德拉用汽车的紧急刹车来类比这套机制:哪怕模型正在执行自主任务,人类也保留最高干预权限,随时终止模型动作。

发言的行业背景

此番表态,正值行业接连曝出AI模型失去控制、产生非预期行为的事件。与此同时,Anthropic首席执行官Dario Amodei也对外公布更为保守的前沿AI开发规划,AI智能体的失控风险、安全边界成为硅谷头部企业共同讨论的议题。

纳德拉指出,AI模型具备访问敏感数据、自主执行任务的能力,单纯依靠模型自身自检、自我监控不足以抵御风险,需要在系统架构层面外置独立的安全管控能力。