
在生成式 AI 重塑搜索格局的今天,传统的 SEO(搜索引擎优化)已不足以应对 ChatGPT、Perplexity 和 Google AI Overviews 等新型流量入口。Crawlie是一款快速、免费且完全开源的本地爬虫工具,它不仅检查传统的 SEO 健康度,更引入了 GEO(生成式引擎优化) 评分体系,帮助网站主确保内容能被 AI 智能体准确理解和引用。

由前首席营销工程师 Sean Ryan 开发,Crawlie 摒弃了昂贵且封闭的商业 SaaS 模式,采用 Rust 编写核心引擎,提供 CLI、MCP 服务器以及精美的桌面应用,真正实现了“为人类和智能体而建”。
核心亮点:从 SEO 到 GEO 的全面审计
Crawlie 的核心价值在于其双重评分机制和深度的问题诊断能力:
- 双重评分体系:
- 健康度分数 (Health Score):评估技术 SEO 基础,如损坏链接、重定向链、4xx/5xx 错误、元数据缺失等。
- GEO 分数 (GEO Score):评估页面被 AI 搜索引用的就绪度,涵盖结构化数据、语义 HTML、内容可回答性、作者身份/E-E-A-T 信号以及内容时效性。
- ** actionable 指导**:
不同于传统工具只抛出错误代码,Crawlie 为每个发现的问题提供简明的解释:为何重要、如何修复以及忽视它的后果。例如,运行crawlie explain geo-not-answerable即可获取针对特定问题的详细修复指南。 - 46+ 项深度检查:
覆盖技术 SEO(Canonical, H1, Alt 标签)、性能与安全(HTTPS, HSTS, 压缩)、移动端与国际化(Viewport, Hreflang),以及核心的 GEO 指标(Schema 标记、问题式标题、可提取区块)。
智能体原生:MCP 与 Agent Skills
Crawlie 是首批深度集成 Model Context Protocol (MCP) 的 SEO 工具之一,这使得 LLM 智能体能够自主运行审计并执行修复建议,无需人工干预。
- MCP 服务器:通过
crawlie-mcp,Claude Desktop、Cursor 或任何兼容 MCP 的客户端可以直接调用crawl_site、audit_url等工具。智能体可以读取结构化问题,并结合explain_issue生成按优先级排序的修复计划。 - Agent Skills:即使没有 MCP,Crawlie 也提供了独立的 Markdown 技能文件。这些技能教会智能体如何运行审计、分析损坏链接或进行上线前检查。若本地未安装二进制文件,技能会通过
npx按需自动运行,实现了真正的“零配置”智能体协作。
示例提示词:
“爬取 spronta.com,然后给我最能提高我的 GEO 分数的前 5 项修复措施,每项附带具体的更改。”
灵活的使用方式
Crawlie 提供了多种接入途径,满足不同用户的技术偏好:
| 方式 | 适用人群 | 特点 |
|---|---|---|
| CLI (命令行) | 开发者、CI/CD 工程师 | 支持 JSON/CSV/HTML 输出,可集成到管道中作为质量门控 (--fail-on error)。 |
| MCP 服务器 | AI 智能体、高级用户 | 允许 Claude Code 等智能体直接调用爬虫功能,实现自动化工作流。 |
| 桌面应用 | 营销人员、非技术用户 | 基于 Tauri + React 构建,提供可视化仪表盘、实时进度环、报告历史和一键导出 HTML。 |
| Claude Code 插件 | 快速上手用户 | 一键安装插件,自动捆绑 MCP 服务器和技能,无需手动配置环境。 |
安装与快速开始
通过 npm 全局安装(推荐):
npm i -g crawlie
基本用法:
# 爬取全站并生成美观的终端报告
crawlie crawl https://example.com --format pretty
# 审计单个页面并保存为 HTML 报告
crawlie audit https://example.com/pricing --format html -o report.html
# 输出 JSON 供脚本处理
crawlie crawl https://example.com --format json -o report.json
连接 Claude Desktop:
编辑 claude_desktop_config.json:
{
"mcpServers": {
"crawlie": {
"command": "crawlie-mcp"
}
}
}
为什么选择 Crawlie?
在 AI 生成内容泛滥的背景下,大多数生成的营销网站缺乏基本的搜索友好性。现有的商业 SEO 工具要么价格高昂,要么无法与智能体无缝协作,更鲜少关注 GEO 这一新兴领域。
Crawlie 以本地优先、完全免费、开源透明的姿态,填补了这一空白。它不仅是营销工程师的利器,更是 AI 智能体检索和优化网站的“眼睛”。对于希望在未来搜索生态中占据一席之地的企业和个人而言,Crawlie 提供了一个低成本、高效率的合规与优化工具箱。
相关导航


Claude Skills Marketplace

BioNeMo Inference Runtime

Hyperbrowser

halo-record

CC-Connect

LLM-as-a-Verifier






