pdf-inspector

在处理海量文档时，PDF 解析往往是性能瓶颈。传统的方案要么依赖昂贵的 OCR 服务，要么使用缓慢且结构丢失严重的通用解析器。pdf-inspector 由 Firecrawl 团队开源，这是一个基于 Rust 构建的高性能本地 PDF 处理库，旨在通过智能分类和精准的结构化提取，为约 54% 无需 OCR 的 PDF 提供毫秒级的处理体验。

核心能力：快、准、稳

1. 智能分类与路由（10-50ms）

pdf-inspector 能在极短时间内通过采样内容流，将 PDF 划分为四种类型：

• TextBased：纯文本，可直接提取。
• Scanned：扫描版，需调用 OCR。
• ImageBased：纯图片，需调用 OCR。
• Mixed：混合版，部分页面需 OCR。

系统会返回置信度分数及按页的 OCR 路由建议。这意味着你可以直接跳过那些不需要 OCR 的文档，大幅降低 API 成本和处理延迟。

2. 结构化 Markdown 转换

不仅仅是提取文字，pdf-inspector 致力于还原文档的逻辑结构：

• 标题识别：通过字体大小比例自动识别 H1-H4。
• 列表与代码：准确还原项目符号、编号列表，并检测等宽字体生成的代码块。
• 表格检测：采用双模式（基于绘图操作的矩形检测 + 基于文本对齐的启发式检测），能处理财务表格、脚注及跨页续表。
• 格式保留：支持粗体、斜体、URL 链接及分页符的还原。

3. 复杂布局与编码支持

• 多栏阅读顺序：自动检测报纸风格的多栏布局，确保阅读顺序正确，并支持 RTL（从右到左）文本。
• CID 字体解码：针对 Type0/Identity-H 字体，支持 ToUnicode CMap 解码，兼容 UTF-16BE、UTF-8 和 Latin-1 编码。
• 编码问题检测：自动标记损坏的字体编码，提示调用方回退到 OCR 方案，避免乱码。

性能基准：碾压级速度

在 Apple M4 Pro 上对 200 个 PDF 进行的基准测试显示，pdf-inspector 在速度和综合得分上均表现优异：

注：测试环境为本地引擎，OCR 已禁用。pdf-inspector 在保持高准确率的同时，速度是 PyMuPDF4LLM 的 30 倍以上。

技术架构与适用场景

• 纯 Rust 实现：无机器学习模型依赖，无外部服务调用，仅依赖 lopdf 库，极致轻量。
• 多语言绑定：提供 Python、Node.js 以及浏览器 WebAssembly 绑定。WASM 版本可在浏览器或 Web Worker 中本地运行，无需服务器往返。
• 最佳适用场景：基于文本的原生 PDF，尤其是对速度、阅读顺序和表格结构要求极高的场景，如研究报告、财务文档、发票和法律文件。