生物基础模型的高效 MoE 训练

生物基础模型采用 Mixture-of-experts（MoE）架构进行高效训练，通过让每个 token 仅激活一部分专家子网络来扩展模型。随着模型规模增长，稠密 Transformer 中每个 token 都会经过所有层，增加能力会同步提高训练和推理的计算成本。