Thinking Machines 正式发布了 Inkling-Small，一款高效的开放权重混合专家（MoE）Transformer 模型。该模型拥有 2760 亿总参数，但在推理时仅激活 120 亿参数。尽管体量仅为前代旗舰模型 Inkling 的四分之一，Inkling-Small 在多项基准测试中实现了与之相当甚至超越的性能，特别是在推理、智能体编码及多模态任务上表现卓越。
- 官方说明：https://thinkingmachines.ai/news/inkling-small/
- 模型：https://huggingface.co/thinkingmachines/Inkling-Small
Inkling-Small 基于 NVIDIA GB300 NVL72 系统训练，具备原生音频与图像理解能力、可变思考强度以及高达 100 万 token 的上下文窗口。目前，其完整权重已公开发布，并可通过 Tinker 平台进行微调或在线体验。
核心架构与训练创新
- 高效 MoE 架构：采用混合专家设计，通过稀疏激活机制，以 12B 的活跃参数量实现了接近更大稠密模型的性能，显著降低了推理成本与延迟。
- 迭代式训练策略：
- 数据优化：改进了预训练数据混合比例与机器学习配方。
- 同策略蒸馏：利用 Inkling 作为教师模型，对早期检查点进行后训练蒸馏，提升了知识迁移效率。
- 强化学习：进行了为期两周的智能体编码强化学习（RL），使其在复杂任务规划与工具使用上更加稳健。
关键能力亮点
🧠 推理与智能体任务：超越前辈
Inkling-Small 在需要深度逻辑推理和代码生成的场景中表现出色，甚至在某些指标上超越了参数量更大的 Inkling：
- HLE (Humanity’s Last Exam)：得分 31.6%，高于 Inkling 的 29.7%，且在所有思考预算下均保持优势。
- SWE-bench Verified：通过率超过 80%，证明其在真实软件工程任务中的强大能力。
- 性价比之王：在最大思考强度下，其性能-token 权衡在同级别开放权重模型中具有极强竞争力，是编码工作流和智能体工具链的高性价比选择。
🖼️🎧 原生多模态：无编码器架构
与 Inkling 一样，Inkling-Small 采用原生多模态无编码器架构，将文本、图像和音频统一处理：
- 视觉处理：图像被划分为 40×40 像素的补丁，通过四层 hMLP 转换，支持裁剪、缩放及程序化图像检查，在文档分析、图表理解及数学视觉问答中表现强劲。
- 音频智能：音频表示为 dMel 频谱图，通过轻量级嵌入层与文本 token 联合处理，擅长语音理解及长格式音频推理。
- 性能持平：在大多数多模态评估中，Inkling-Small 的表现几乎与 Inkling 持平，但运行成本更低。
🛡️ 安全性与合规
- 继承安全配方：沿用了 Inkling 的安全后训练流程，内置针对日常交互及双重用途能力的防护。
- 红队测试：通过了内部评估及受信任外部合作伙伴的红队测试。
- 基准表现：在 StrongREJECT 和 FORTRESS 等安全基准测试中，表现出与 Inkling 相当的拒绝率与过度拒绝平衡能力。
基准测试概览
| 基准测试 | Inkling-Small 表现 | 备注 |
|---|---|---|
| HLE | 31.6% | 领先于 Inkling (29.7%) |
| SWE-bench Verified | > 80% | 展现强大的工程落地能力 |
| 多模态评估 | 接近 Inkling | 成本显著降低 |
| 安全基准 (StrongREJECT) | 与 Inkling 相当 | 保持高安全性标准 |
注：所有评估均在努力值 0.99 和温度 1.0 下运行，编码评估限制最大 256K token 轨迹。
开发者生态与试用
- 开放权重：完整模型权重已发布，方便社区研究与本地部署。
- Tinker 平台集成：
- 微调支持：通过 Tinker 提供便捷的微调服务。
- Playground 体验：支持文本、图像和音频的多模态聊天测试。
- 限时折扣：Inkling 与 Inkling-Small 在 Tinker 上提供限时优惠，鼓励开发者进行实验与构建。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
