Cloudflare 和 GoDaddy 合作帮助网站对抗 AI 爬虫

Cloudflare 和 GoDaddy 宣布建立合作伙伴关系，以解决来自大型科技公司的 AI 爬虫如何影响网站流量和发布商收入的问题。此举聚焦于日益严重的问题：AI 答案引擎在未将用户引导回原始来源的情况下重用网络内容。作为交易的一部分，Cloudflare 的 AI 爬虫控制将被集成到 GoDaddy 的托管平台中，允许网站所有者允许、阻止或要求 AI 机器人付费。

此次合作是对 AI 答案引擎（如谷歌的 AI 概览）兴起的回应，这些引擎越来越多地直接给用户提供答案，而不是将其链接回网站。这种转变加剧了内容创作者与 AI 公司之间的紧张关系，因为发布商的流量减少，回报显著降低，而他们的内容仍被使用，且常常甚至没有注明出处。

Cloudflare 和 GoDaddy 还支持诸如代理名称服务和网络机器人认证等标准，通过加密签名凭证来验证 AI 代理的身份。结合为网站所有者提供更多机器人活动可见性的审计日志，更广泛的目标是建立一个基于许可的系统，通过身份、访问控制和补偿来帮助保护在线人类创作的内容——我个人认为这比以往任何时候都更有必要。