微软发布AI代理防护策略：前沿AI不可信任，依托Project Perception构建代理安全管控体系

微软正在出台正式策略，应对持续增多的AI代理安全隐患，核心观点十分明确：不能信任AI。

微软执行副总裁Hayete Gallot在文档中提出，无论来自哪家厂商，前沿大模型本身都不可信任。并非模型带有主观恶意，模型训练目标是拿到任务结果，很容易出现奖励劫持问题，模型本身不会按照企业组织规则、价值判断来行事。AI代理行为具备不确定性，会跟随上下文动态改变行为，可能偏离预期目标，甚至在没有被黑客入侵的情况下，多个代理之间相互协同串通，完成目标。

这套思路最早由微软CEO纳德拉在本月Scratchpad博客发布。纳德拉认为，不能简单把AI当成黑盒，直接采纳或者拒绝它给出的建议与操作，需要搭建专门的系统，用来观测、限制、约束AI替人类执行的各类动作。

Project Perception 代理安全系统

微软把前沿模型与AI代理归类为内部风险，为此扩展Project Perception代理安全平台，用确定性管控手段、独立核验证据和隔离边界，包裹住不确定性强的AI能力。

这套系统需要打通身份、权限、数据、终端、网络、云环境与运行时资产，需要完整掌握所有AI代理清单，明确代理归属、创建目的与行为范围。所有代理正式启用前，都会预先施加约束，限定访问范围，并且系统可以根据代理行为、上下文、风险变化动态调整管控策略。

整体架构延续微软零信任安全理念，但需要全技术栈协同改造。新增动态权限机制，阻止AI代理获取超出所属用户的权限；持续评估单个代理的动态风险等级；将Microsoft Entra条件访问能力延伸到AI代理场景。同时为Project Perception引入安全预案手册，还搭建Guardian Agents用于持续监控AI代理行为。