巴西小型 AI 实验室 Supersonic Labs 发布Julia 1，一款轻量级开放权重决策模型，定位不是聊天大模型。输入上下文、问题以及 2~20 个候选答案，模型输出各个选项的概率，不生成自由文本。模型参数量仅 144.3M，支持 CPU 本地推理。
- 模型：https://huggingface.co/collections/SupersonicLabs/julia-1
核心能力与架构
决策类型
| 类型 | 说明 | 选项范围 |
|---|---|---|
| choice | 从带描述的候选中选一标签（分类/路由） | 2–20（更多需 Router） |
| score | 返回有序标准（如低/中/高）的预期索引 | 有序列表 |
| noul | 返回是/否陈述为真的概率 | 二元 |
⚠️ 关键限制：仅比较调用者提供的选项；不能处理缺失事实、代数或多步推理；Router 缩放可能丢失正确标签。
技术规格
- 基座：mmBERT-small（JHU CLSP，1,800+ 语言预训练）
- 上下文：运行时支持 8,192 tokens，基准使用 1,024
- 训练成本：~R$540 / US$104.08 云 GPU
- 部署形态：Python 3.11+ (CPU/BF16 GPU) + ONNX WebGPU
- API 计划：$0.025/MTok 输入（尚未开放）
性能实测
基准对比（2026-09-24，H200 BF16）
| 基准 | Julia 1 | Jev 参考 | GLiNER2.5 Multi | 备注 |
|---|---|---|---|---|
| Typed Decisions | 73.15% | 72.70% | — | 1,463/2,000 |
| AG News (4标签) | 94% | 91% | 70% | 100 样本试点 |
| DAIR Emotion (6标签) | 86% | 48% | 44% | 100 样本试点 |
| Banking77 (72标签) | 64% | 87% | 61% | ❌ 明显失败 |
| MASSIVE (18场景) | 71.50% 宏平均 | — | — | pt-PT 86.25%, en-US 86.75% |
💡 CPU 复现验证（9月25日）：Typed Decisions 72.55%，Banking77 60/100 + 3 次弃权，确认结果可迁移至消费级硬件。
设备延迟（中位数，单决策）
| 设备 | 延迟 | 备注 |
|---|---|---|
| Apple M4 | 33.15 ms | 原生推理 |
| Intel i5-1235U | 107.83 ms | AG News |
| Intel i5-1235U | 3,713.54 ms | Banking77（72标签缩小开销） |
| Samsung SM-X510 (ONNX) | 203 ms | 峰值 RSS 393.1 MB |
⚠️ “比 Jev 快 5 倍”声明需谨慎：Jev 试点从法国调用托管服务，含网络延迟，非同类比较。
竞品定位分析
| 维度 | Julia 1 | TypeSafe Jev | GLiNER2.5 Multi |
|---|---|---|---|
| 访问方式 | 开放权重 + 计划 API | 仅托管 API（早期访问） | 开放权重 |
| 许可证 | Apache 2.0 | 专有 | Apache 2.0 |
| 参数量 | 144.3M | 未披露 | 287M |
| CPU 本地运行 | ✅ | ❌ | ✅ |
| 多语言基础 | mmBERT (1,800+ lang) | 未披露 | mDeBERTa-v3 |
| 高标签数表现 | ❌ Banking77 64% | ✅ 87% | ⚠️ 61% |
| 情感/新闻分类 | ✅ 领先 | ⚠️ 中等 | ❌ 落后 |
适用场景
- 边缘/离线设备决策（CPU 33ms 级延迟）
- 低资源环境部署（550MB 权重，$104 训练成本）
- 中小规模分类/路由（≤20 选项）
- 多语言意图识别（MASSIVE 71.5% 宏平均）
- 情感/主题等少标签任务（DAIR 86%, AG News 94%）
- 浏览器端实时决策（WebGPU ONNX）
© 版权声明
文章版权归作者所有，未经允许请勿转载。
