百度开源 ERNIE 5.5 Flash Base 基座模型：280B 稀疏 MoE

百度文心开源发布 ERNIE-5.5-Flash-Base 基座模型，开放 ERNIE 5.5 Flash 预训练终点权重。该模型为稀疏 MoE 架构，总参数 280B，每 token 激活 14B，在 33.5T tokens 数据上从零预训练，训练上下文 128K，微调与推理支持 1M tokens。 百度称，本次发布的权重未经中训练与后训练，可作为领域适配、指令微调和强化学习研究的共同起点；经过后训练的 ERNIE 5.5 Flash 将随后推出。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。