Cloudflare CEO：AI爬虫正在侵蚀互联网的商业模式

Cloudflare 首席执行官 Matthew Prince 近日再次发声，警告生成式人工智能（AI）驱动的爬虫和摘要技术，正在对互联网的内容生态和商业模式构成“存在性威胁”。

他指出，随着 AI 搜索引擎和聊天机器人直接提供网页内容摘要，越来越多用户不再访问原始网站。这一趋势正导致出版商和内容创作者面临流量下降、广告收入减少的困境。

从“搜索引擎”到“答案引擎”

Prince 在上周于戛纳举行的 Axios 活动上表示，传统搜索引擎如谷歌，在过去每爬取一个网站约六次，就会带来一次真实的人类访问，用户可能点击链接并查看广告。

但如今，这种比例已大幅恶化：

• 谷歌当前的爬取与访问者比例约为 18:1
• OpenAI 的 GPT 爬虫为 1500:1
• Anthropic 更是达到了惊人的 60,000:1

这意味着，AI 系统在大量获取内容的同时，几乎没有为网站带来实际访问量。许多用户在看到 AI 提供的总结后，就不再点击进入原网站。

AI 概览 vs. 内容生态

谷歌在其 AI 概览功能推出时曾表示，该技术将有助于增加来源网站的流量。类似地，一些大型语言模型（如 ChatGPT）也开始在回答中添加引用链接，以引导用户回到原创内容页面。

然而，Prince 表示，现实情况并不乐观。大多数用户并不会点击这些脚注，而是选择直接接受 AI 的答案——因为他们越来越信任这项技术。

这不仅影响了网站的流量和收入，也带来了潜在的信息风险。由于 AI 生成内容可能出现错误或误导性信息，缺乏人类验证的传播方式可能会进一步加剧虚假信息的扩散。

Cloudflare 推出“AI迷宫”应对爬虫泛滥

面对 AI 巨头们的爬虫行为，Cloudflare 正在采取行动。该公司推出了名为 “AI迷宫”（AI Maze）的新工具，专门用来识别并阻断无视 robots.txt 规则的 AI 爬虫。

其工作原理是：当系统检测到恶意或绕过规则的爬虫时，会将其引入一连串由 AI 自动生成的复杂链接路径。这些路径对人类毫无意义，但却会让爬虫陷入无效循环，浪费其计算资源和时间。

尽管对抗 Google、Microsoft 和 OpenAI 等科技巨头看似困难重重，Prince 强调，Cloudflare 有着成功抵御国家级攻击的经验，有信心保护客户免受 AI 爬虫的侵害。