AI 爬虫

Anubis 是当前对抗 AI 爬虫的一种创新且实用的工具。它不依赖于复杂的基础设施，也不需要高昂的费用，而是通过巧妙利用浏览器行为差异，实现了有效的访问控制。对于中小型网站、开源项目和教育科研机构而言，Anubis 提供了一个强大、易用、可持续发展的安全屏障，帮助他们抵御来自 AI 数据采集的压力。

ai.robots.txt收集了目前市面上所有已知的 AI 相关网络爬虫（User-Agent），无论它们来自 OpenAI、Google、Amazon 还是其他新兴平台。你可以直接使用项目提供的配置文件，轻松在自己的 Web 服务器上阻止这些爬虫访问。