Fastino Labs 推出 GLiNER2.5-Decide，一个 340M 参数的非生成式决策模型（Apache 2.0 许可），专为智能体管线中的高频判断任务设计（路由、分类、工具选择、护栏）。它接收文本与带类型问题的 schema，返回结构化答案、概率分布、置信度及约束可行性元数据。核心创新是联合解码：在单次前向传播中强制执行跨答案规则（如“检测到危害则必须标记不安全”），避免独立解码导致的逻辑冲突。
- 模型：https://huggingface.co/fastino/GLiNER2.5-Decide
模型基于 DeBERTa-v3-large 微调，无需提示模板或生成 token，在 CPU 上 p50 延迟仅 167ms（64 tokens），GPU 上低至 38ms。内部 Fast Decisions 基准（17 数据集 / 5,100 样本）平均准确率 60.1%，领先 9 个数据集，意图路由表现尤为突出（支持意图 75.3%）。
核心技术机制
非生成式 + Schema 驱动
- 编码器：DeBERTa-v3-large（从 gliner2-large-v1 微调）
- 输入：原始文本 + JSON schema（声明问题、允许答案、基数/序数/蕴含/排除规则）
- 输出：每个问题的答案集合 + 概率 + 置信度 + 可行性标志
- 无生成：不产生 token，不依赖提示工程，零幻觉风险
联合解码的价值
| 场景 | 独立解码 | 联合解码 |
|---|---|---|
| 提示注入检测 | harm_type=prompt_injection (0.82) + safety=safe (0.52) ❌ 冲突 | safety=unsafe + harm_type=prompt_injection ✅ 一致 |
| 多标签分类 | 各标签独立评分，可能违反互斥规则 | 约束解码器搜索合法最高分联合分配 |
| 序数判断 | 可能返回无序结果 | 强制满足序数边界约束 |
💡 关键限制：分类答案不返回证据跨度；如需实体/关系抽取，需在同一前向传播中启用对应头。
性能实测
Fast Decisions 基准（精确匹配准确率）
| 模型 | 参数量 | 类型 | 平均准确率 |
|---|---|---|---|
| GLiNER2.5-Decide | 340M | 编码器 | 60.1% |
| JevK5 | 4B | Qwen3.5 解码器 | 57.5% |
| SemIf | 4B | Qwen3.5 解码器 | 56.4% |
| GLiFormer large-v1 | — | 单遍编码器 | 49.0% |
| Laya | 421M | ModernBERT 编码器 | 46.6% |
- 强项：意图路由（支持意图 75.3%，银行意图 64.3%，分别超次优 18.6pp / 8.6pp）
- 覆盖：客户运营、领域路由（银行/临床/旅行/福利）、内容理解
延迟（批大小 1，2 头 / 15 标签 schema）
| 硬件 | 64 tokens (p50) | 1024 tokens (p50) |
|---|---|---|
| Intel Xeon 8581C (48 vCPU) | 167.3 ms | — |
| NVIDIA V100 | 38.3 ms | 75.6 ms |
| NVIDIA L4 | 43.4 ms | 131.4 ms |
| NVIDIA T4 | 43.6 ms | — |
| NVIDIA A100 | 47.3 ms | 52.6 ms |
⚠️ 短请求瓶颈：固定预处理+内核启动开销主导，GPU 间差异 <9ms；长输入时 A100 优势显现。
模型家族与扩展
| 模型 | 参数 | 基准得分 | 适用场景 |
|---|---|---|---|
| GLiNER2.5-Decide | 340M | 60.1% | 通用英文决策（推荐首选） |
| GLiNER2.5-Decide-1B | 1B | 59.6% | 需更高容量但接受略低精度 |
| GLiNER2.5-multi-Decide | 287M | 56.7% | 多语言输入 |
- 微调：本地全量或 LoRA（GLiNER2 训练器）
- Agent 集成：SKILL.md 暴露托管工作流给编码智能体
- API：Fastino 提供托管推理与微调服务
适用场景
- 智能体路由/工具选择（低延迟、高吞吐）
- 安全护栏（联合解码保证逻辑一致性）
- 空气隔离/边缘部署（CPU 可运行、Apache 2.0）
- 批量分类/内容审核（无生成成本）
- LLM-as-judge 的前置过滤器
© 版权声明
文章版权归作者所有，未经允许请勿转载。
