DeepOpen

DeepOpen 是一款基于 Laya、Apache 2.0完全开源的非自回归System 1决策引擎，专门面向结构化类型判断场景。它抛弃传统大模型逐Token生成文本的范式，单次前向计算即可完成多维度分类、打分，解决传统LLM做路由、分类、判定任务时延迟高、成本贵、容易幻觉的痛点。

三大独立优化检查点 + 智能路由

内置亚毫秒级语言识别路由模块，自动识别文本语种与文字脚本，自动调度最合适的模型，无需手动编写切换规则：

1. 英文检查点：ModernBERT-large（421M参数），512上下文，英文意图分类、XNLI任务准确率0.783~0.860，单请求延迟39.5ms，适配高并发英文业务。
2. 多语言检查点：mmBERT-base（322M参数），1024上下文，覆盖100+语言，45种语言显著优于随机基线，非拉丁语种表现强于英文模型。
3. 类型决策检查点：ModernBERT-large（421M参数），1024上下文。2000样本基准测试准确率0.766，超过TypeSafe Jev 1.13.0（0.727）；Brier分数仅0.062。

核心技术特性

• ✅ 零幻觉非自回归：不生成自由文本，只输出预先定义好的结构化类型，结果严格限定在预设选项边界，无需额外文本解析。
• ✅ 严格校准概率输出：RLCD强化学习训练，ECE低至0.081，置信度具备统计有效性，可直接搭建自动流转机制：高置信自动处理，低置信交给人工复核。
• ✅ 极速推理：T4显卡实测单请求低至32.8ms，批量处理仅7.2ms，吞吐量103–332请求/秒，推理速度为TypeSafe Jev的7.8倍。
• ✅ 本地自托管：权重全部开源，无按Token计费，大规模业务可省去API调用开销。
• ✅ 生产级预设场景：工单分诊、Prompt注入防护、多语言内容安全审核、模型调度路由。

快速上手

PyPI一键安装：

pip install deepopen

开箱即用Router，自动路由多语言请求，支持按需预加载、LRU缓存、手动卸载模型，灵活控制显存占用。内置Notebook微调教程，Kaggle免费双T4环境4~5小时完成3万样本微调。

基准对比

补充边界：在50个以上高基数标签场景TypeSafe Jev更占优；DeepOpen可调整head_max_len，支持最多70+选项分类，覆盖大部分业务需求。