ai.robots.txt

ai.robots.txt收集了目前市面上所有已知的 AI 相关网络爬虫（User-Agent），无论它们来自 OpenAI、Google、Amazon 还是其他新兴平台。你可以直接使用项目提供的配置文件，轻松在自己的 Web 服务器上阻止这些爬虫访问。