Scraping Sandbox

在网页抓取（Web Scraping）和自动化领域，开发者常常面临两难困境：在真实网站上测试代码可能触发反爬机制、导致 IP 被封，甚至引发法律纠纷；而在本地静态 HTML 中测试，又无法模拟真实的动态渲染、JavaScript 执行和网络延迟。

Scraping Sandbox 是一个完全开源的网页抓取沙盒平台，旨在为开发者、数据工程师和自动化构建者提供一个安全、基于浏览器的真实环境，用于构建、测试和运行抓取智能体（Scraping Agents）。

核心目的：您的专属抓取训练场

Scraping Sandbox 不仅仅是一个演示网站，它是一个功能完备的练习靶场。您可以自由地对其进行抓取，无需担心版权声明、服务条款限制或页面被删除的风险。

它专为以下场景设计：

• 学习与教学：从零开始学习网页抓取技术，理解 HTTP 请求、DOM 解析和动态内容加载。
• 实验与调试：大胆试验各种 CSS/XPath 选择器，验证提取逻辑的鲁棒性。
• 原型开发：快速构建和原型化复杂的抓取工作流，特别是结合 AI 驱动 的自动化任务。
• 研究与教育：作为高校课程或研究项目的理想数据集来源，支持负责任的抓取实践研究。

模拟真实世界：内置速率限制与反爬机制

为了最大程度地模拟真实生产环境并培养开发者的负责任抓取习惯，Scraping Sandbox 并非毫无限制。它引入了真实的速率限制机制：

• 限制策略：每 10 秒最多允许 60 个请求。
• 设计初衷：
  • 防止滥用：避免意外的 DDoS 式流量冲击，保护基础设施稳定。
  • 模拟实战：迫使开发者在代码中实现重试机制、请求间隔和并发控制，就像面对真正的目标网站一样。
  • 成本覆盖：项目托管在 Cloudflare Workers 上，合理的限流有助于维持服务的免费开放。

⚠️ 注意：如果您超过限制，请求将被暂时阻止。请像对待生产环境一样，精心设计您的抓取工具以遵守此限制。

技术栈：现代、高效、云原生

Scraping Sandbox 采用了一套现代化的前端与 Serverless 技术栈，确保了高性能和易扩展性：

• 核心框架：Next.js (React)，提供卓越的渲染性能和开发体验。
• 用户界面：Tailwind CSS + Radix UI + ShadCN，打造简洁、响应式且美观的操作界面。
• 部署架构：OpenNext + Cloudflare Workers，利用边缘计算能力实现全球低延迟访问。
• 开发语言：TypeScript，确保代码的类型安全与维护性。

快速开始：本地部署与使用

作为一个开源项目，您可以轻松地将 Scraping Sandbox 部署到本地环境，进行离线测试或二次开发。

1. 克隆仓库

git clone https://github.com/Agenty/scrapingsandbox.git  
cd scrapingsandbox

2. 安装依赖

npm install

3. 启动开发服务器

npm run dev

启动后，您即可在本地访问该沙盒环境，开始您的抓取实验之旅。