Cloudflare推出“按次付费爬取”市场，网站可向AI公司收费

Cloudflare 近日宣布上线一项名为 “按次付费爬取（Pay per Crawl）” 的新市场机制，尝试重新定义网站内容与AI爬虫之间的关系。这一举措不仅为出版商提供更灵活的内容控制权，也为AI时代的新型商业模式提供了可能。

作为服务全球20%互联网流量的云基础设施提供商，Cloudflare 此举或将影响未来网络内容的访问规则。

从“被动抓取”到“主动授权”

过去一年，随着AI模型训练对公开数据的依赖不断上升，大量网站遭遇频繁爬取，内容被用于训练AI模型或生成搜索结果摘要，而这些行为往往未经出版商授权。

为此，Cloudflare 推出了一系列工具帮助网站主应对AI爬虫：

• 提供一键阻止所有AI爬虫的功能
• 展示AI爬虫如何访问网站的可视化仪表板

在2024年的一次采访中，Cloudflare CEO 马修·普林斯（Matthew Prince）表示，这些工具为一个更大胆的设想打下了基础——让出版商可以通过授权内容使用获得收益。

如今，这一设想正在成为现实。

“按次付费爬取”市场启动，网站可设定爬取价格

此次推出的 “按次付费爬取”市场 以私人测试形式启动，允许网站主根据自身需求选择三种处理方式：

1. 设定费率，按次收费：每次AI爬取支付一定费用
2. 免费开放访问
3. 完全禁止AI爬虫

网站主还可以了解爬虫的具体用途，例如是否用于AI模型训练、搜索结果生成等。

Cloudflare 表示，这项机制的核心目标是赋予网站主更多控制权，同时探索AI时代下可持续的内容授权模式。

默认阻止AI爬虫，强化内容管理权限

除了推出市场机制，Cloudflare 还宣布了一个重要变化：新注册网站将默认阻止所有AI爬虫。网站主需手动授予特定AI爬虫访问权限，从而确保其内容不会在未授权的情况下被使用。

这一政策已得到多家知名出版商支持，包括：

• Condé Nast
• 《时代》杂志（Time）
• 美联社（AP）
• 《大西洋月刊》（The Atlantic）
• ADWEEK
• 《财富》（Fortune）

这些机构均支持 Cloudflare “基于许可的爬取”理念，共同推动内容使用的规范化。

AI代理时代来临，传统流量模式面临挑战

当前，许多在线出版商仍依赖搜索引擎带来的流量获取收入。然而，随着AI代理技术的发展，这种模式正面临前所未有的挑战。

据 Cloudflare 数据显示：

• 谷歌爬虫抓取次数是推荐流量的 14倍
• OpenAI 爬虫抓取约 1700次 才带来一次推荐流量
• Anthropic 抓取 73,000次 才带来一次推荐流量

这意味着，AI公司在获取内容方面投入巨大，但并未为内容创作者带来相应的流量回报。

如果AI代理成为主流，用户将不再直接访问网站，而是通过AI助手获取信息摘要。这对依赖广告和订阅收入的出版商而言，无疑是一个严峻考验。

未来的“编程化付费墙”设想

Cloudflare 在官方博客中描绘了一个更具前瞻性的场景：

如果可以在网络边缘构建一个完全自动化的“付费墙”，当用户请求AI代理完成研究任务时，系统能自动为其购买所需内容？
比如你让AI帮你查找最新癌症研究成果，或是在Soho地区找一家好餐厅，AI代理会根据预算为你获取最相关的信息。

这或许预示着一种全新的内容消费模式：AI代表用户付费获取内容，内容创作者获得合理回报。

交易中介角色 + 稳定币可能性

目前，“按次付费爬取”市场要求 AI公司和出版商都拥有 Cloudflare 账户，并可在账户内设置爬取费用。Cloudflare 担任交易中介，负责向AI公司收取费用，并将收益分配给内容方。

尽管目前尚未引入稳定币或加密货币结算方式，但 Cloudflare 表示不排除未来采用此类技术的可能性。CEO 普林斯在近期一次访谈中提到，公司正在考虑开发自己的稳定币，并与其他发行方合作。

前景广阔，但挑战不小

Cloudflare 的这一市场机制是一项大胆构想，若能成功推广，可能重塑AI与内容之间的关系。不过也存在一些现实问题：

• 出版商能否从中获得可观收入？
• AI公司是否愿意为数据付费？
• 如何平衡开放性与商业化？

尽管如此，凭借其在网络基础设施领域的影响力，Cloudflare 是少数几家有能力推动这一变革的公司之一。