Netflix介绍GPU可靠性平台：分层健康检查与自动修复

Netflix 详细介绍了其面向大规模 GPU 训练与推理的可靠性平台，将 GPU 可靠性作为分布式系统问题处理，通过分层健康检查、渐进式自动修复和容错训练应对硬件故障。据 Netflix 报告，基于 Kubernetes 的方案实现超过 99.95% 的 GPU 节点可用性，作业成功率从约 98% 提升到 99.5% 以上。 具体做法上，设备级检查使用 NVIDIA DCGM 监控 GPU 错误、内存、互联和温度状况，网络检查则查看高速 Elastic Fabric Adapter 接口的状态和数量。文中还对比了 Meta 在硬件故障检测与快速恢复方面的做法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。