NVIDIA 通过全栈协同设计提升 AI 内存利用效率

NVIDIA 发文称，其通过全栈协同设计在内存各层级提高利用率，以应对 AI 工厂日益增长的 GPU 内存压力。从 Blackwell Ultra 到 Vera Rubin 平台，每 GPU 的 HBM 容量仅提升约 3%，但据其在 SemiAnalysis AgentX 负载上的测试，每美元智能体吞吐量最高提升 30 倍。 需要说明的是，30 倍这一数据来自 NVIDIA 自己的测试场景，用于说明其内存利用率优化的效果，而非 HBM 硬件容量的直接提升。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。