Crawlie

5个月前发布 175 00

Crawlie是一款快速、免费且完全开源的本地爬虫工具,它不仅检查传统的 SEO 健康度,更引入了 GEO(生成式引擎优化) 评分体系,帮助网站主确保内容能被 AI 智能体准确理解和引用。

所在地:
美国
收录时间:
2026-06-21
其他站点:

在生成式 AI 重塑搜索格局的今天,传统的 SEO(搜索引擎优化)已不足以应对 ChatGPT、Perplexity 和 Google AI Overviews 等新型流量入口。Crawlie是一款快速、免费且完全开源的本地爬虫工具,它不仅检查传统的 SEO 健康度,更引入了 GEO(生成式引擎优化) 评分体系,帮助网站主确保内容能被 AI 智能体准确理解和引用。

Crawlie

由前首席营销工程师 Sean Ryan 开发,Crawlie 摒弃了昂贵且封闭的商业 SaaS 模式,采用 Rust 编写核心引擎,提供 CLI、MCP 服务器以及精美的桌面应用,真正实现了“为人类和智能体而建”。

核心亮点:从 SEO 到 GEO 的全面审计

Crawlie 的核心价值在于其双重评分机制和深度的问题诊断能力:

  1. 双重评分体系:
    • 健康度分数 (Health Score):评估技术 SEO 基础,如损坏链接、重定向链、4xx/5xx 错误、元数据缺失等。
    • GEO 分数 (GEO Score):评估页面被 AI 搜索引用的就绪度,涵盖结构化数据、语义 HTML、内容可回答性、作者身份/E-E-A-T 信号以及内容时效性。
  2. ** actionable 指导**:
    不同于传统工具只抛出错误代码,Crawlie 为每个发现的问题提供简明的解释:为何重要、如何修复以及忽视它的后果。例如,运行 crawlie explain geo-not-answerable 即可获取针对特定问题的详细修复指南。
  3. 46+ 项深度检查:
    覆盖技术 SEO(Canonical, H1, Alt 标签)、性能与安全(HTTPS, HSTS, 压缩)、移动端与国际化(Viewport, Hreflang),以及核心的 GEO 指标(Schema 标记、问题式标题、可提取区块)。

智能体原生:MCP 与 Agent Skills

Crawlie 是首批深度集成 Model Context Protocol (MCP) 的 SEO 工具之一,这使得 LLM 智能体能够自主运行审计并执行修复建议,无需人工干预。

  • MCP 服务器:通过 crawlie-mcp,Claude Desktop、Cursor 或任何兼容 MCP 的客户端可以直接调用 crawl_site、audit_url 等工具。智能体可以读取结构化问题,并结合 explain_issue 生成按优先级排序的修复计划。
  • Agent Skills:即使没有 MCP,Crawlie 也提供了独立的 Markdown 技能文件。这些技能教会智能体如何运行审计、分析损坏链接或进行上线前检查。若本地未安装二进制文件,技能会通过 npx 按需自动运行,实现了真正的“零配置”智能体协作。

示例提示词:

“爬取 spronta.com,然后给我最能提高我的 GEO 分数的前 5 项修复措施,每项附带具体的更改。”

灵活的使用方式

Crawlie 提供了多种接入途径,满足不同用户的技术偏好:

方式适用人群特点
CLI (命令行)开发者、CI/CD 工程师支持 JSON/CSV/HTML 输出,可集成到管道中作为质量门控 (--fail-on error)。
MCP 服务器AI 智能体、高级用户允许 Claude Code 等智能体直接调用爬虫功能,实现自动化工作流。
桌面应用营销人员、非技术用户基于 Tauri + React 构建,提供可视化仪表盘、实时进度环、报告历史和一键导出 HTML。
Claude Code 插件快速上手用户一键安装插件,自动捆绑 MCP 服务器和技能,无需手动配置环境。

安装与快速开始

通过 npm 全局安装(推荐):

npm i -g crawlie

基本用法:

# 爬取全站并生成美观的终端报告
crawlie crawl https://example.com --format pretty

# 审计单个页面并保存为 HTML 报告
crawlie audit https://example.com/pricing --format html -o report.html

# 输出 JSON 供脚本处理
crawlie crawl https://example.com --format json -o report.json

连接 Claude Desktop:
编辑 claude_desktop_config.json:

{
  "mcpServers": {
    "crawlie": {
      "command": "crawlie-mcp"
    }
  }
}

为什么选择 Crawlie?

在 AI 生成内容泛滥的背景下,大多数生成的营销网站缺乏基本的搜索友好性。现有的商业 SEO 工具要么价格高昂,要么无法与智能体无缝协作,更鲜少关注 GEO 这一新兴领域。

Crawlie 以本地优先、完全免费、开源透明的姿态,填补了这一空白。它不仅是营销工程师的利器,更是 AI 智能体检索和优化网站的“眼睛”。对于希望在未来搜索生态中占据一席之地的企业和个人而言,Crawlie 提供了一个低成本、高效率的合规与优化工具箱。

相关导航