摩尔线程开源 Megatron-MUSA-Titan，面向万卡级集群万亿参数 MoE 训练

摩尔线程于 10 月 28 日宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan，聚焦万卡级集群的万亿参数 MoE 模型训练，覆盖预训练与强化学习场景。该项目已在其万卡级集群预训练中持续应用，支持 blockwise FP8 训练，可结合 DeepEP 与 ACE 异步通信引擎实现专家并行与通算重叠，并支持与 slime、miles 强化学习框架协同。