跳到正文
IT之家·· 5 小时前AI 评分69

百度文心开源 ERNIE-5.5-Flash-Base 基座模型,总参数 280B

百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型,总参数 280B

AI 导读

百度文心开源 ERNIE-5.5-Flash-Base,开放 ERNIE 5.5 Flash 预训练终点权重。该模型为稀疏 MoE,总参数 280B、每 token 激活 14B,在 33.5T tokens 上从零预训练,训练上下文 128K,微调与推理支持 1M tokens。

来源:IT之家 · ithome.com