Moondream 团队推出 Moondream 3 预览版本：轻量架构下的高性能视觉推理模型

Moondream 团队正式推出 Moondream 3 的预览版本——一款基于 9B 参数稀疏混合专家（MoE）架构的新模型，实际激活参数仅为 2B。它在保持极快推理速度和低运行成本的同时，实现了接近甚至部分超越当前前沿视觉语言模型（VLM）的能力水平。

• Demo：https://moondream.ai/c/playground
• 模型：https://huggingface.co/moondream/moondream3-preview

这一代更新不仅提升了性能，也重新定义了小型模型在现实世界任务中的潜力边界。

为什么需要一个新的架构？

尽管当前人工智能在数字内容生成等领域已广泛应用，但在物理世界的交互中仍显不足。我们尚未看到真正普及的家用服务机器人、自动巡检系统或实时环境感知助手。要让 AI 真正“看见”并理解现实，必须解决四个核心挑战：

1. 视觉推理能力不能妥协

即使模型规模受限，也不能牺牲对复杂场景的理解力。Moondream 3 致力于成为适用于真实场景中最强大的小型 VLM。

2. 可训练性强

许多专业任务（如医学影像分析、工业质检）需要针对性优化。人类专家尚需长期训练，AI 模型更应具备高效微调能力。Moondream 支持快速适配特定领域数据。

3. 推理速度快

从农业分拣到无人机监控，再到安防响应，多数现实应用要求近乎实时的反馈。延迟过高意味着实用性下降。

4. 运行成本低

视觉任务常涉及大量图像处理，若单次推理开销过大，难以规模化部署。低成本是落地的关键前提。

为此，Moondream 3 采用 9B 参数 MoE 架构，每步仅激活约 2B 参数，兼顾能力、效率与经济性。同时，我们将上下文长度从 2K 扩展至 32K tokens，显著提升复杂指令理解和结构化输出能力。

注：本版本为预览版，后训练仍在进行中，推理优化正在进行，未来性能还将持续提升。

技术亮点概览

▶ 混合专家架构设计

• 使用 64 个专家模块，每个 token 动态激活其中 8 个。
• 基于 Moondream 2（2B 密集模型）初始化，通过上行循环技术迁移知识。
• 训练阶段引入长上下文样本（最长 32K），无需后期扩展阶段即可支持长序列建模。

▶ 支持长上下文的有效机制

• 引入 基于位置的学习温度缩放（inspired by YaRN），改善远距离依赖建模。
• 在 GovReport 数据集上的测试显示，模型在长达 32,768 tokens 的文档中仍保持较低困惑度。

![图表说明：GovReport 数据集中不同位置窗口的平均交叉熵损失，反映模型在长文本中的稳定性]

▶ 定位增强的混合推理模式

Moondream 3 是一个支持“带定位的视觉推理”的混合模型：

• 不仅能回答问题，还能指出答案对应的图像区域。
• 在交互界面中，悬停于输出文本即可高亮其关注区域，实现可解释性输出。

该能力最初由少量标注示例引导，在后续强化学习阶段逐步加强，最终使模型学会主动依赖空间线索进行判断。

▶ 训练策略优化

• 预训练阶段使用负载均衡与路由器正交性损失，促使专家早期专业化。
• 后训练阶段关闭负载均衡，防止分布偏移引发遗忘。
• 注意力机制加入可学习温度与 LSE 抑制，减少噪声干扰，提高聚焦精度。

值得一提的是，后训练所消耗的计算资源已超过初始预训练总量，反映出强化学习在能力跃迁中的关键作用。

实际应用场景展示

以下为 Moondream 3 在多种任务中的表现示例。

📌 物体检测：理解复杂语义查询

传统模型多依赖固定类别标签，而 Moondream 3 能响应更具描述性的提示。

示例 1：

提示：“穿紫色袜子的跑步者”
输出：准确识别出目标人物及其服饰细节。

示例 2：

提示：“数量输入”
输出：识别表单字段并提取数值内容。

这类能力适用于零售货架监测、体育赛事分析等场景。

🖱 指向功能：原生支持空间定位

Moondream 3 将“指向”作为基础技能，无需额外插件或后处理。

示例 3：

提示：“瓶子”
输出：返回图像中所有瓶子的位置坐标。

示例 4：

提示：“最适合吃意面的餐具”
输出：聚焦叉子，并给出理由。

可用于人机协作、辅助决策系统等需要精确视觉定位的应用。

🧩 结构化输出：少样本生成 JSON 或表格

得益于 32K 上下文支持，Moondream 3 在极少提示下即可生成规范化的结构数据。

示例 5：雪橇犬信息提取

提示：

生成一个包含以下键的 JSON 数组：dog_id、fur_color、harness_color

输出：

[
  { "dog_id": 1, "fur_color": "浅棕色", "harness_color": "红色" },
  { "dog_id": 2, "fur_color": "深棕色", "harness_color": "红色" },
  ...
]

此类能力适合自动化报表生成、资产清点等结构化信息抽取任务。

🔤 OCR 升级：小字体识别更可靠

OCR 能力得到显著增强，尤其在真实场景文档转换中表现实用。

示例 6：化学电极电位表识别

提示：“转换为 Markdown 格式”

目前对极小字体仍有改进空间，但已在多数日常场景达到可用水平。

初步基准对比

我们将其与多个前沿模型进行了初步比较。虽然在标准评测集上分数相近或略优，但真正的优势体现在 推理效率 上：

• 相比同级别密集模型，Moondream 3 推理速度快数倍；
• 在消费级 GPU 上即可实现流畅交互；
• 单图推理成本显著低于主流闭源模型。

⚠️ 当前推理代码尚未优化，实测速度低于理论上限。团队正在加速优化，预计正式版将进一步提升吞吐量。

完整基准测试结果将在后续公告中公布，包含推理延迟、内存占用等关键指标。