The Register· Joab Jackson ·· 2 小时前AI 评分66
PyTorch 2.15 重写 NCCL 后端,应对单块 GPU 故障不再重启整个训练
PyTorch 2.15 tackles the 'one bad GPU' problem
AI 导读
PyTorch 2.15 发布,重写了面向 Nvidia Collective Communications Library(NCCL)的后端 ProcessGroupNCCL,改善 GPU 协同训练时的故障诊断与恢复,单块 GPU 崩溃或变慢时可由第三方编排器剔除并替换 worker。
来源:The Register · theregister.com