Google DeepMind提出Decoupled DiLoCo分布式AI训练架构

Google DeepMind提出Decoupled DiLoCo，通过解耦的计算“岛屿”和异步数据传输，在降低通信带宽的同时提升分布式训练的故障韧性。系统可在四个美国区域、使用2–5 Gbps广域网络训练12 billion parameter模型，速度超过传统同步方法的20倍；测试还显示其可在TPU v6e和TPU v5p混合训练中保持与单一芯片类型训练相同的ML性能。