Hugging Face Blog·· 2 天前精选AI 评分77
Olmo-core 3 发布：面向大规模MoE的开放式训练基础设施
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
Olmo-core 3 发布，重新设计了大语言模型的开源混合专家（MoE）训练系统，目标是在保持计算效率的同时扩展到万亿参数范围。初步测试中，基于8块 NVIDIA B300 GPU 的470亿参数MoE吞吐量达到每GPU每秒52,000个 token，约为此前实现的2.7倍；系统还完成了1.2万亿参数配置的性能测试，并支持MXFP8。
推荐理由
提供开源MoE训练基础设施与实测扩展数据，能帮助研究人员评估并行策略、精度格式及大规模训练的可行边界。
来源：Hugging Face Blog · huggingface.co