百度文心大模型发布ERNIE-5.5-Flash-Base，对外放出ERNIE 5.5 Flash完成预训练阶段后的权重文件。该版本没有经过中间阶段训练、指令微调、强化学习等后训练流程，开发者可以将它作为基础，开展领域适配、指令对齐以及强化学习相关实验。官方同时说明，完成后训练优化的ERNIE 5.5 Flash正式版本会在后续推出。
- 技术博客：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
- Hugging Face（FP8）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
- Hugging Face（BF16）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
- 微调示例（Megatron-Bridge）：https://github.com/NVIDIA-NeMo/Megatron-Bridge/tree/main/examples/models/ernie55
模型基础参数
ERNIE-5.5-Flash-Base采用稀疏MoE架构，模型总参数规模280B，每处理一个token仅激活14B参数。模型从零启动训练，训练数据总量达到33.5T tokens。在预训练阶段，模型支持的最长上下文长度为128K；经过微调与部署适配之后，推理阶段可以支持最长1M tokens的上下文输入。
训练过程使用分布式Muon优化器搭配FP8混合精度方案。为了适配不同场景的能力需求，研发团队对训练语料做了定向的构建和筛选，重点分为三类数据。
多语言网页数据依靠多渠道抓取、高保真文本抽取，再通过模型做多维度质量过滤，减少低质、噪声文本进入训练集。代码数据除基础代码片段之外，额外纳入commit记录、issue、PR、代码评审意见、自动化测试用例、CI流程验证通过的修复代码，覆盖软件迭代过程中的各类信息，并且完成过滤、去重和质量分级。长文本数据则混合天然长文档、加入相似语义干扰项的长序列样本，以及人工合成的检索任务、引用问答、多跳问答样本，用来提升模型处理长序列信息的能力。
训练系统与算子工程设计
这款模型的结构和分布式训练系统做了协同设计，用来提升大规模集群下的训练稳定性。在数千卡的训练集群中，分布式Muon优化器把稠密参数与MoE参数的跨机器通信合并为一次集合通信，减少跨节点传输带来的延迟和波动。
注意力算子基于CuTe-DSL实现FlashMask-4，兼容SM90、SM100两类GPU架构。算子支持更高维度的注意力头，qk头维度最高576，v头维度最高512，能够适配HCA层512维宽头的计算需求。模型一共43层，其中37层使用经过128倍压缩的序列注意力，剩余6层采用MLA-DSA结构，在控制计算开销的前提下，保留细粒度信息检索的能力。
评测方案与对比设置
团队选取30项基准测试完成模型评测，测试范围覆盖综合能力、知识、理科推理、代码、多语言、长上下文七个方向。本次横向对比选取DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base三款同类型基座模型，全部使用公开权重，并且统一评测框架，保证对比条件一致。各项详细评测结果整理在Hugging Face模型卡中，可供查阅。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
