随着非人类流量即将超越人类流量成为互联网主流，Cloudflare 宣布了一项旨在重塑网络生态平衡的新政策。从 2026 年 9 月 15 日起，Cloudflare 将默认阻止“混合用途”爬虫访问任何托管广告的页面，除非网站所有者明确调整设置。
这一举措的核心在于强制要求 AI 公司将用于传统搜索引擎优化的爬虫与用于 AI 智能体服务及模型训练的爬虫进行严格区分。Cloudflare 认为，这是保护出版商知识产权、构建可持续互联网经济的关键一步。
核心变化：默认拦截与意图分离
在此之前，许多 AI 公司使用单一的爬虫同时执行搜索索引、智能体响应生成和模型训练任务。Cloudflare 指出，这种“混合用途”模糊了内容发现的边界，导致出版商的内容被免费用于商业 AI 产品。
新政策实施后：
- 默认拦截：新的 Cloudflare 客户、现有客户的新网站以及所有免费层级用户，其广告页面将默认对混合爬虫关闭。
- 意图透明化：AI 公司必须明确其爬虫的单一目的（仅搜索、仅智能体或仅训练），否则将被阻挡。
- 出版商控制权：网站所有者可以通过调整设置，选择性地允许特定类型的 AI 访问，从而在保持可发现性的同时保护核心资产。
行业影响：挑战巨头，重塑规则
Cloudflare 联合创始人兼 CEO Matthew Prince 直言不讳地指出，全球最大的搜索引擎（隐含指 Google）比其他 AI 公司多访问约两倍的信息，因为其复杂的生态系统使得网站很难在保留搜索排名的同时拒绝 AI 训练。
尽管 Google 辩称其提供了 Google Extended 机器人供网站选择不参与 AI 训练，且不影响搜索收录，但 Cloudflare 认为现有的机制不够透明且执行不力。通过强制区分，Cloudflare 希望迫使整个行业建立更清晰、更公平的访问标准。
从“按抓取付费”到“按价值付费”
除了访问控制，Cloudflare 还在升级其内容货币化模型。传统的“按抓取付费”模式往往因 AI 爬虫大量重复抓取未更改页面（占比超过 50%）而效率低下。新的 “按使用付费” 模式则聚焦于内容实际产生价值的时刻。
目前，Cloudflare 正与 Ceramic.ai 和 You.com 合作试点该模式：
- 当出版商的内容出现在 Ceramic 的 AI 搜索结果中时，获得报酬。
- 当 You.com 访问并引用其优质内容时，产生收益。
这种模式不仅为出版商提供了更公平的收入来源，也帮助 AI 公司减少了无效的带宽和计算资源浪费。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
