Anthropic/谷歌/微软/OpenAI达成共识：支持统一标准，网站可选择退出AI训练抓取

Anthropic、谷歌、微软、OpenAI四家头部AI厂商共同承诺，支持一套统一的网站退出AI训练抓取标准，网站站长可以单独声明：是否允许自身内容用于AI模型训练、检索接地（grounding），并且该设置不会影响网站被搜索引擎正常收录。这套规范由IETF工作组制定，后续将提交为正式互联网标准。

核心规则

这套信号和传统robots.txt不一样，做了能力拆分：

• 搜索索引（Bing、谷歌爬虫收录网页）
• AI模型训练、检索增强接地
  站长可以独立管控AI训练权限，不用为了阻止AI抓取，同时牺牲网站在搜索引擎的曝光，这也是微软公告重点强调的诉求。
  信号是跨厂商通用，一次配置，四家厂商的爬虫都能识别统一偏好，不用分别给OpenAI、Anthropic、谷歌、微软单独写规则。

上线节奏

• Anthropic：已经完成落地，现在即可识别该信号
• Google、Microsoft、OpenAI：计划2027年才正式启用、遵守该信号

争议点

该举措有较强象征性：四家厂商已经长期大规模抓取互联网内容用于模型训练，大量训练数据早已入库；这个opt-out是事后新增的拒绝通道，一般不具备追溯效力，无法撤回已经被抓取、已经用于训练的内容，只能管控标准生效之后的抓取行为。