OmniParseBench

Datalab推出OmniParseBench，面向文档OCR与解析器的开源评测基准。整套基准包含2343份文档、2937页素材，拆分为16288个通过/失败二元测试用例，覆盖92种语言，数据集与评估代码全部公开。它的设计目标不只是简单的排行榜，而是让开发者能够按文档类型切片评估，回答“解析器能不能处理我这类文档”。Datalab自家解析器Datalab accurate综合得分92.7，位列第二，第一名是Gemini 3.8 Flash（92.9）。

基础信息

OmniParseBench是评估工具集（harness），并非OCR模型。安装命令uv pip install omni-parse-bench，要求Python3.11及以上；评分环节完全离线、不需要API密钥，仅在调用各家厂商解析器时需要对应服务商密钥。

总分由文本、表格、布局三类得分取平均，包含5类测试：

• present：文本、数字、公式是否存在
• order：文本先后顺序校验
• repeat：指定文本恰好出现N次
• table_cell：表格单元格位置校验
• layout_kind：区块判定，区分标题/正文/表格

数字匹配支持千分位逗号忽略，公式采用KaTeX渲染比对；判定结果分为通过、失败、不支持、错误，后两类不计入得分，全程没有大模型充当裁判，打分逻辑完全开源。每个测试项附带结构、渲染、角色、文字、语言多维度标签，可按标签筛选子集单独统计分数，标签不会干预判定结果。

基准排行榜

*部分测试用例的构建与验证用到该模型
亮点分项：Claude Sonnet 5.5文本、表格单项最高分；Reducto布局单项第一，但Claude布局得分偏低拖累综合成绩。基准同时还统计各解析器的延迟与每页成本。

主流OCR基准横向对比

Datalab指出现有基准缺陷：olmOCR-bench趋于饱和，高分模型差异更多来自输出规范而非阅读能力；ParseBench多维度指标单位不一致，难以合并对比。

要点小结

1. OmniParseBench是开源OCR解析评测框架，16288个二元测试，覆盖92种语言，离线打分，无模型裁判，支持标签切片评估。
2. 榜单Gemini 3.8 Flash综合第一，Datalab accurate紧随其后；各模型能力偏向不同，存在单项能力强弱分化。
3. 相比olmOCR-bench、ParseBench，它增加多语言支持、延迟成本统计，可精细化筛选文档子集评估；代码Apache2.0开源。