阿里国际发布 Ovis2.6-80B-A3B:MoE 架构实现“800亿参数知识,30亿参数推理”,低成本高吞吐的多模态新标杆

多模态模型6个月前发布 小马良
320 0

在多模态大语言模型(MLLM)领域,如何平衡模型规模、推理成本与复杂任务处理能力一直是行业痛点。近日,阿里国际正式推出 Ovis2.6-80B-A3B,这是 Ovis 系列的最新重磅升级。

  • 模型:https://huggingface.co/AIDC-AI/Ovis2.6-80B-A3B

基于 Ovis2.5 的坚实基础,Ovis2.6 首次将大语言模型主干升级为混合专家(MoE)架构,在保持 800 亿总参数庞大知识库的同时,仅激活约 30 亿参数进行推理。这不仅大幅降低了服务成本,更引入了革命性的**“图像协同思考”**能力,让 AI 从被动接收视觉信息转向主动分析与推理,在长文档理解、高分辨率图像处理及复杂视觉推理任务中表现卓越。

阿里国际发布 Ovis2.6-80B-A3B:MoE 架构实现“800亿参数知识,30亿参数推理”,低成本高吞吐的多模态新标杆

核心亮点:MoE 高效、主动思考、极致细节

1. 混合专家架构:800亿参数知识,30亿参数推理

  • 超大容量:总参数量达 800 亿,能够捕获海量的世界知识与细微差别,确保在复杂任务中的泛化能力。
  • 极致高效:推理期间仅激活约 30 亿 参数(Active Parameters)。
    • 低成本:显著降低算力消耗与服务成本。
    • 高吞吐:提升并发处理能力,适合大规模商业部署。
  • 性能不打折:在保持高效的同时,实现了与全量激活模型相当的卓越多模态性能。

2. 图像协同思考 (Image Collaborative Thinking)

  • 从被动到主动:打破传统 MLLM “看图说话”的被动模式,将视觉转化为主动认知工作空间。
  • 工具调用与自我反思:在推理过程中,模型可主动调用视觉工具(如裁剪、旋转、放大),对图像特定区域进行重新检查与分析。
  • 多轮思维链:支持在思维链(CoT)中进行多轮、自我反思式的视觉输入推理,显著提升复杂视觉任务(如几何题、复杂图表分析)的准确性。

3. 长上下文与高分辨率突破

  • 64K 超长上下文:支持长达 64K token 的上下文窗口,轻松处理长篇文档、多页报告或长视频帧序列。
  • 2880×2880 超高分辨率:原生支持高达 2880×2880 的图像分辨率,保留微小文字与细节特征。
  • 信息密集型任务专家:特别优化了长文档问答能力,模型能跨页面收集并整合分散线索,得出精准结论。

4. 增强的 OCR 与图表理解

  • 结构化信息提取:在光学字符识别(OCR)、文档布局分析及图表/图示理解方面大幅增强。
  • 推理而非仅识别:不仅能准确提取文字与数据,更能对提取内容进行逻辑推理(如趋势分析、数据对比),适用于金融报表、科学图表等复杂场景。
阿里国际发布 Ovis2.6-80B-A3B:MoE 架构实现“800亿参数知识,30亿参数推理”,低成本高吞吐的多模态新标杆

性能表现

Ovis2.6-80B-A3B 在多个权威基准测试中取得了领先成绩,尤其在需要高分辨率、长上下文及复杂推理的任务中表现突出:

能力维度关键指标/表现说明
综合多模态SOTA 级别在 MMBench, MMStar 等基准中表现优异
文档理解显著提升长文档问答准确率大幅超越前代及竞品
OCR/图表高精度复杂表格、数学公式、科学图表解析能力增强
推理效率极高性价比激活参数仅 3B,推理速度与传统 7B-14B 模型相当
视觉推理主动式增强通过工具调用解决传统模型无法处理的细节问题
阿里国际发布 Ovis2.6-80B-A3B:MoE 架构实现“800亿参数知识,30亿参数推理”,低成本高吞吐的多模态新标杆

技术架构简析

Ovis2.6-80B-A3B 的核心在于其视觉-语言对齐机制与MoE 路由策略的深度优化:

  1. 视觉编码器:采用高分辨率适配方案,确保图像细节无损传入 LLM。
  2. MoE 路由器:智能分配 Token 至最相关的专家网络,确保在处理视觉或文本任务时激活最优参数组合。
  3. 工具集成层:内置视觉操作工具接口,允许 LLM 在生成过程中动态调用裁剪、旋转等操作,并将结果反馈回思维链。
© 版权声明

相关文章