Google DeepMind提出Decoupled DiLoCo分布式AI训练架构
Google DeepMind提出Decoupled DiLoCo，通过解耦的计算“岛屿”和异步数据传输，在降低通信带宽的同时提升分布式训练的故障韧性。系统可在四个美国区域、使用2–5 Gbps广域网络训练12 billion parameter模型，速度超过传统同步方法的20倍；测试还显示其可在TPU v6e和TPU v5p混合训练中保持与单一芯片类型训练相同的ML性能。
推荐理由：介绍一种面向全球分布式预训练的解耦异步架构，并给出故障恢复、带宽、速度及混用硬件的实验结果，具有评估大规模训练基础设施的参考价值。