百度推出轻量级推理模型ERNIE-4.5-21B-A3B-Thinking:原生支持函数调用,可联网查天气、调数据库

大语言模型3个月前发布 小马良
124 0

百度推出ERNIE-4.5-21B-A3B-Thinking,一款专为复杂推理任务优化的轻量级 MoE(Mixture of Experts)大模型。该模型在原有 ERNIE-4.5 基础上显著提升了推理能力,在逻辑、数学、科学、编程等任务中表现更优,同时具备高效的工具调用能力,支持联网查询、数据库访问等现实场景。

模型核心参数

项目参数
模型类型文本 MoE 后训练模型
总参数量210 亿(21B)
每 Token 激活参数30 亿(3B)
上下文长度128K(131,072 tokens)
层数28
注意力头(Q/KV)20 / 4
文本专家(总数/激活)64 / 6
视觉专家(总数/激活)64 / 6
共享专家2

该模型采用 稀疏激活架构,在保持高推理能力的同时控制计算开销,兼顾性能与效率。

百度推出轻量级推理模型ERNIE-4.5-21B-A3B-Thinking:原生支持函数调用,可联网查天气、调数据库

核心亮点

✅ 显著提升复杂推理能力

ERNIE-4.5-21B-A3B-Thinking 经过后训练优化,显著增强了在以下任务中的表现:

  • 逻辑推理:如多步推导、因果分析
  • 数学解题:支持代数、微积分、应用题求解
  • 科学理解:物理、化学、生物等领域的知识推理
  • 代码生成:理解复杂逻辑并生成可执行代码
  • 学术任务:在需要专业知识的基准测试中表现优异

百度强调,该模型特别适用于高度复杂的推理场景,推荐在需深度思考的任务中使用。

✅ 高效工具使用能力

模型原生支持 函数调用(Function Calling),可无缝集成外部工具,实现:

  • 联网查询实时信息(如天气、股价)
  • 调用数据库执行 CRUD 操作
  • 调用 API 完成自动化任务

这一能力使其从“纯语言模型”向“智能代理”演进,可应用于智能客服、数据分析、自动化办公等场景。

✅ 增强的长上下文理解

支持 128K 上下文长度,能够处理超长文档,如:

  • 完整的技术白皮书
  • 多章节小说或剧本
  • 复杂法律合同
  • 大型代码仓库

结合 MoE 架构,模型能在长文本中精准定位关键信息,避免信息丢失。

与前代模型的演进

ERNIE-4.5-21B-A3B-Thinking 是对 ERNIE-4.5-21B-A3B 的深度优化版本,主要改进在于:

  • 增加“思考深度”:通过强化后训练,提升多步推理链的稳定性;
  • 优化专家路由机制,提升任务匹配精度;
  • 增强工具调用的准确性和响应速度。

尽管总参数为 21B,但因采用 MoE 架构,实际推理时仅激活 3B 参数,大幅降低计算资源消耗,适合部署在中高端 GPU 上。

© 版权声明

相关文章

暂无评论

none
暂无评论...