VoltAgent
VoltAgent 作为一个开源的 AI 代理框架，通过提供模块化构建块、标准化模式和抽象，极大地简化了 AI 代理应用程序的开发。它不仅支持多种 LLM 提供商和工具集成，还提供了丰富的开发者工具和可视化监控功能，使得开发者能够高效地构建从简单助手到复杂系统的各种 AI 应用。
如果你不希望自己的网站内容被 AI 模型爬取用于训练，现在有一个简单、统一且持续维护的开源方案：ai.robots.txt。
这个项目收集了目前市面上所有已知的 AI 相关网络爬虫（User-Agent），无论它们来自 OpenAI、Google、Amazon 还是其他新兴平台。你可以直接使用项目提供的配置文件，轻松在自己的 Web 服务器上阻止这些爬虫访问。
项目内容概览
ai.robots.txt 仓库提供了多种格式的配置文件，适配主流 Web 服务器和代理工具：
robots.txt：遵循标准的“机器人排除协议”（Robots Exclusion Protocol），适用于所有支持该协议的爬虫。.htaccess：用于 Apache 服务器，可在匹配到 AI 爬虫 User-Agent 时返回 403 或自定义错误页面（注意：官方文档建议优先使用主配置而非.htaccess以提升性能）。nginx-block-ai-bots.conf：Nginx 配置片段，通过include指令嵌入到任意server块中即可生效。Caddyfile：提供一组正则匹配的 Header 规则，配合abort @aibots可立即中止请求。haproxy-block-ai-bots.txt：用于 HAProxy 的 User-Agent 黑名单，通过 ACL 规则实现拦截：acl ai_robot hdr_sub(user-agent) -i -f /etc/haproxy/haproxy-block-ai-bots.txt http-request deny if ai_robot
注意：文件路径需根据你的实际部署环境调整。
特别说明：Bing 与 AI 训练
微软 Bing 的爬虫会将抓取内容用于 AI 模型训练。即使你已在 robots.txt 中限制，Bing 仍可能爬取。此时，建议在网页 <head> 中添加如下 meta 标签显式退出：
<meta name="bingbot" content="noai">
信息来源与协作机制
项目中的许多爬虫识别规则最初来自 Dark Visitors 项目，感谢其对 AI 爬虫行为的持续追踪。ai.robots.txt 在此基础上进一步标准化、自动化，并开放贡献。
如果你发现新的 AI 爬虫未被收录，欢迎提交 Pull Request：
- 将爬虫名称加入
robots.txt和ai.txt - 在
table-of-bot-metrics.md中补充其用途、所属公司等背景信息，帮助其他用户判断是否应阻止
所有新增内容应先写入
robots.json。项目通过 GitHub Action 自动同步生成其余配置文件和文档。
开发与测试
项目使用 Python 编写验证脚本。如需本地测试变更，请执行：
pip install -r requirements.txt
python code/tests.py
仓库还包含 .editorconfig，确保贡献者使用一致的代码风格。
如何跟踪更新？
- RSS/Atom 订阅：
地址：https://github.com/ai-robots.txt/ai.robots.txt/releases.atom
支持 Feedly、Inoreader、Feedbin 等主流阅读器。 - GitHub 订阅：
点击仓库页面右上角 “Watch” 按钮旁的下拉箭头 → 选择 “Custom” → 勾选 “Releases”，即可在新版本发布时收到通知。
扩展支持：Traefik 用户
目前已有社区开发的 Traefik 中间件插件，可动态注入 robots.txt 规则。你也可以选择手动配置 Traefik，通过静态文件服务方式统一提供 robots.txt。
授权选项：RSL（Really Simple Licensing）
如果你不打算完全禁止 AI 爬取，而是希望以授权方式允许使用，并保留集体谈判权利，可以考虑 RSL（Really Simple Licensing） 标准。项目提到，目前已有一个 WordPress 插件实现了 RSL 协议及配套的支付处理功能，适合内容创作者使用。
数据统计
相关导航
Miro
Miro 是一个创新的可视化工作空间，使任何规模的分布式团队能够共同梦想、设计和建设未来。借助 Miro 智能画布™的魔力，团队可以在任何地方可视化概念、想法和解决方案，无需干擦标记。即使在远程、分布式或混合工作环境中，也能与您的团队同步、流畅并感受并肩工作的联系。
Rube
Rube 是一个MCP服务器，它将您的 AI 工具连接到 500 多个应用，如 Gmail、Slack、GitHub 和 Notion。只需在您的 AI 客户端中安装它，一次认证您的应用，然后开始要求您的 AI 执行真实操作，如“发送一封电子邮件”或“创建任务”。
DiffSynth-Studio
DiffSynth Studio 是一个开源的扩散引擎，专注于 AI 生成内容（AIGC）技术创新，特别适合学术研究。它通过连接开源扩散模型，提供尖端技术支持和新型推理能力，帮助用户探索图像和视频生成的新可能性。
BashBuddy
BashBuddy 是一款由AI驱动的终端助手，旨在帮助用户通过自然语言生成 Bash 或 PowerShell 命令，从而提高工作效率。它完全开源，并提供了本地化和云端两种使用方式以满足不同需求。
OpenHands GitHub Launcher
OpenHands GitHub Launcher是一款强大且易用的工具，帮助开发者更高效地管理 GitHub 项目。无论是分析代码库、修复 CI/CD 问题，还是解决合并冲突和处理问题，它都能为你提供精准的智能化支持。
Ai2 Paper Finder
Ai2 Paper Finder是一个由大语言模型驱动的文献搜索系统，目标不是简单返回关键词匹配的结果，而是模拟人类研究者的思考过程，帮你找到真正相关的论文。它不只检索，还会分析、推理、追踪引文、评估相关性，并告诉你：为什么这篇论文值得读。
Pruna AI
欧洲初创公司 Pruna AI 一直致力于研究 AI 模型的压缩算法，本周四正式开源其优化框架。Pruna AI 的框架能够对给定的 AI 模型应用多种效率提升方法，例如缓存、剪枝、量化和蒸馏。
暂无评论...
