LLM Scraper

在数据驱动的时代，从网页中提取结构化信息是一项常见但关键的任务。传统爬虫依赖 CSS 选择器或 XPath 规则，但面对结构复杂或不断变化的网页时，维护成本高、适应性差。

LLM Scraper 提供了一种全新的解决方案：使用大语言模型（LLM）从任何网页中智能提取结构化数据。

什么是 LLM Scraper

LLM Scraper 是一个基于 TypeScript 的开源库，它通过调用大语言模型（如 GPT、Gemini、Llama 等），将网页内容智能解析为结构化数据。无需编写 CSS 选择器，只需定义你想要的数据结构，LLM 就能自动从页面中提取相关信息。

最新版本：v1.6

LLM Scraper 最近更新至 1.6 版本，带来了多项改进和新功能：

• 支持 Vercel AI SDK 4
• 支持 JSON Schema 与 Zod 格式定义
• 更强的 TypeScript 类型安全性
• 改进的代码生成体验
• 更新的使用示例和文档支持

核心原理：LLM + 函数调用

LLM Scraper 在底层使用函数调用机制，将网页内容作为输入，由 LLM 模型理解页面结构，并输出符合你定义的结构化数据。

你可以在这里了解更多关于函数调用和数据提取的实现细节。

✅ 主要功能

• 多模型支持：兼容 GPT、Claude（Sonnet）、Gemini、Llama、Qwen 等主流模型
• 结构化定义：使用 Zod 或 JSON Schema 定义你期望的数据结构
• TypeScript 支持：完整类型安全，提升开发体验
• 基于 Playwright：内置浏览器自动化能力，轻松加载网页
• 流式对象支持：适用于大数据量或实时处理场景
• 代码生成：自动生成提取逻辑，减少手动编写
• 支持多种输入格式：
  • html：加载预处理后的 HTML
  • raw_html：加载原始 HTML（不进行预处理）
  • markdown：加载 Markdown 格式内容
  • text：提取纯文本（使用 Readability.js 优化内容提取）
  • image：加载网页截图（仅限支持图像输入的多模态模型）

使用场景

LLM Scraper 适用于以下场景：

• 从结构复杂或频繁变化的网站提取数据
• 无需维护 CSS 选择器，快速构建数据提取流程
• 构建动态爬虫系统，适配多种网页结构
• 与 AI 工具链集成，构建智能数据处理流程