Omni Extract Bench

Datalab 推出开源结构化文档提取基准Omni Extract Bench，用来评估模型从PDF文档按照指定JSON Schema提取结构化数据的能力，目标解决行业内厂商自建排行榜难以横向对比、不透明、存在偏向性的痛点。整套基准整合4套已有数据集，合计620份文档，配套确定性评分器，每一项提取结果都可追溯打分理由。

现有文档提取基准四大痛点

1. 偏见：文档与评分规则容易偏向基准构建方，评测结果不够中立；
2. 评测套件不透明：低分可能是评测工具本身故障，而非模型能力不足；
3. 评分逻辑模糊：无法定位单条文档扣分的具体原因；
4. 文档类型单一：数据集只包含纯表格或干净无扫描件，缺少多样化真实文档。

数据集构成（共620份文档）

• ExtractBench（LlamaIndex）：329份，表单、普通文档、幻灯片
• Datalab内部合成集：202份，密集标量Schema、短文档
• LongExtractBench：47份超大表格文档
• LongArray-Extract：42份带大量重复标量的大表格

文档场景覆盖监管申报表单，其中128份单页文档，33份超过100页的长文档，长文档页面占全部页面40%。

核心技术亮点

传统表格按位置比对，只要漏掉一行，后续所有行全部错位，分数直接归零。OmniExtractBench采用匈牙利算法实现基于内容的行配对，规避这个问题：测试案例中100行表格缺首行，旧方式得0分，该基准仍能给到99%分数。

评分器会将预测JSON与标准答案展平，做值归一化（自动兼容不同日期格式，如03/31/2024和2024-03-31视为相同），对每一个字段给出6种裁决结果：

1. matched：匹配成功
2. misread：字段配对但数值错误
3. unfound：标准答案存在，模型未提取
4. fabricated：Schema允许，标准答案为空，模型自行填充内容
5. invented_item：模型输出不存在的行条目
6. invented_field：输出Schema未定义的字段

同时增加Null规则：空字符串、None、空白值判定为遗漏，避免模型填充空值刷分；NA、-这类业务标记保留原意。基于裁决结果计算准确率、精确率、召回率，指标可审计。

模型评测结果

Datalab在10个模型配置上完成评测：

• Datalab accurate模式准确率93.85%，排名第一
• Datalab balanced（93.48%）、Reducto deep_extract v2（93.47%）几乎并列第二
• 特性区分：
  • Datalab、Reducto：精确率与召回率差距很小，表现均衡；
  • GPT 5.6-sol：精确率很高，但召回率偏低，倾向漏字段；Claude、Gemini有同类倾向；
  • LlamaExtract：召回尚可、精确率偏低，容易编造不存在内容；Extend容易生成多余条目；
  • Mistral OCR 4.1、Azure Content Understanding双指标偏弱，召回问题更明显。

部署与开源信息

评分器包发布在PyPI：omni-extract-bench v0.1.7，Python3.11+，仅依赖SciPy，Apache 2.0许可证；数据集托管在Hugging Face，CC BY 4.0协议。

uv pip install omni-extract-bench
oeb score --pred pred.json --gt gold.json --schema schema.json --verdicts

安装benchmark附加组件后，oeb benchmark可以完整重跑厂商评测，需要自行准备各大模型API密钥。