Reddit因AI数据抓取问题限制Wayback Machine索引其内容

Reddit将限制互联网档案馆的Wayback Machine索引其大部分内容，原因是担心AI公司通过抓取归档页面绕过平台控制。新政策下，Wayback Machine无法访问Reddit的帖子详情页、用户资料和评论，仅Reddit.com主页可供每日归档。

因此，互联网档案馆现在只能捕获每日趋势标题的基本快照，无法保存完整的帖子内容或讨论线程。Reddit表示，部分AI公司利用归档页面违反其政策抓取数据。这些限制将持续，直到互联网档案馆能更好地防止抓取、遵守Reddit的隐私规则并可靠删除已移除内容。

Reddit提前通知了互联网档案馆，并表示限制将立即逐步生效。此举与Reddit遏制批量数据提取的持续努力一致，包括2023年的API限制及与AI和搜索公司的付费数据协议。2024年和2025年，Reddit与谷歌和OpenAI签订了协议，屏蔽了主要搜索引擎，并起诉Anthropic涉嫌持续抓取。