Chronicles-OCR

汉字作为世界上唯一沿用至今的表意文字，其五千余年的演变历程构成了独特的视觉谱系。然而，现有 OCR 基准多聚焦于现代印刷体或手写体，缺乏对甲骨文、金文、篆书等古文字及隶、楷、行、草等成熟书体的系统性评估。Chronicles-OCR 是由腾讯联合安阳师范学院与故宫博物院专家共同打造的跨时域感知基准，旨在全面衡量 AI 模型在“汉字七体”上的识别、检测与解析能力。

该基准包含 2,800 张高质量标注图像，覆盖从殷商甲骨文到东汉草书的完整演化链条，通过四大评测任务，揭示了当前主流大模型在古文字理解上的巨大潜力与显著短板。数据显示，Kimi K2.5 与 Seed 2.0 Pro 在综合性能上处于领先地位，而开源模型中 Qwen3.5-A17B 表现优异。

核心亮点：全谱系覆盖、专家级标注、多维评测

1. 汉字七体，跨越五千年

• 古文字阶段：
  • 甲骨文：殷商刻辞，象形性强，线条细瘦，写法多变。
  • 金文：商周青铜器铭文，笔画圆浑，结构渐趋规范。
  • 篆书：秦代标准字体，曲线对称，标志文字统一。
• 今文字阶段：
  • 隶书：秦汉转折，“蚕头燕尾”，古今文字分水岭。
  • 楷书：魏晋兴起，方正平直，通行至今的标准体。
  • 行书：介于楷草之间，流畅易认，王羲之《兰亭序》为代表。
  • 草书：奔放简约，连带强烈，艺术性与识别难度极高。

2. 权威合作，精细标注

• 专家介入：安阳师范学院提供甲骨文专业解读，故宫博物院专家负责隶书至草书的审校，确保标注的学术准确性。
• 自适应标注策略：
  • 古体（甲骨/金/篆）：采用字符级标注，精准定位每个独立字形。
  • 成熟书体（隶/楷/行/草）：采用段落级标注，更符合实际阅读与解析场景。

3. 四大评测任务，全方位考核

排行榜洞察：古体难攻，今体内卷

1. 古体书法（甲骨文、金文、篆书）

• 闭源领先：Seed 2.0 Pro 以平均 Spotting 16.5、Recognition 24.5 的成绩大幅领先，显示出其在极少样本古文字上的强大泛化能力。Kimi K2.5 紧随其后，尤其在篆书识别上表现强劲。
• 开源突围：Qwen3.5-A17B 在开源模型中登顶，平均 Recognition 达 22.6，接近部分闭源模型水平。Qwen3-VL-A22B 在甲骨文分类上达到 99.2%，展现了对早期文字特征的敏锐捕捉。
• 普遍短板：大多数模型在甲骨文检测（Spotting）上得分极低（<1.0），说明古文字的定位仍是当前 AI 的最大难点。

2. 成熟书体（隶、楷、行、草）

• 高分集群：在楷书和隶书等规范字体上，多数主流模型（如 GPT-5, Gemini 3.1 Pro, Qwen3.5）的解析（Parsing）得分超过 0.7，分类准确率超过 80%。
• 草书挑战：尽管草书辨识度高，但因其连笔和变形，Parsing 得分普遍低于楷书。Seed 2.0 Pro 和 Kimi K2.5 在草书解析上依然保持优势（>0.66）。
• Think 模式效应：部分模型（如 Qwen3-VL, Kimi K2.5）在开启“Think”思维链模式后，分类准确率显著提升，但在解析任务上提升有限，甚至因过度推理导致 NED 增加。

快速开始

1. 环境准备

git clone https://github.com/VirtualLUOUCAS/Chronicles-OCR.git
cd Chronicles-OCR
pip install -r requirements.txt

2. 数据下载

将数据集下载并解压至 data/ 目录，结构如下：

data/
├── Chronicles_OCR.jsonl  # 标注文件
└── images/
    ├── 甲骨文/
    ├── 金文/
    ├── 篆书/
    ├── 隶书/
    ├── 楷书/
    ├── 行书/
    └── 草书/

3. 模型推理

支持 OpenAI 兼容 API 和本地 vLLM 部署：

使用 OpenAI 兼容 API (如 Qwen2.5-VL-7B):

python infer.py --api_type openai_compat \
    --model_name Qwen2.5-VL-7B-Instruct \
    --base_url http://127.0.0.1:8000/v1 \
    --api_key EMPTY \
    --max_workers 64

使用本地 vLLM:

python infer.py --api_type local_vllm \
    --model_path /path/to/Qwen2.5-VL-7B \
    --tensor_parallel_size 1 \
    --max_model_len 32768

4. 评测与汇总

# 评测所有已生成结果的模型
python judge.py

# 仅评测指定模型
python judge.py --models Qwen2.5-VL-7B

# 生成 Excel 分析报告
python summarize.py
# 输出: judge_results/results_analysis.xlsx

Chronicles-OCR 不仅是一个基准测试，更是一座连接古代文明与现代 AI 的桥梁。它揭示了当前模型在理解汉字深层结构与历史演变上的真实水平，为下一代多模态大模型的优化指明了方向。