英伟达发布技术解读：全栈协同缓解AI内存瓶颈

英伟达于 11 月 5 日发布技术解读，提出以 GPU、CPU、网络、存储和软件全栈协同设计的方式缓解 AI 内存瓶颈。具体手段包括用 NVFP4 压缩权重与 KV 缓存、NVL72 中权重分散至最多 72 颗 GPU、以 Vera CPU 的 LPDDR 作缓冲、并通过 Dynamo 将不活跃上下文迁至 CMX 存储。 英伟达给出的基准数据显示：在每用户每秒 125 token 的条件下，Vera Rubin NVL72 相较 GB300 NVL72 的每美元智能体吞吐量最高提升 30 倍，而每 GPU 的 HBM 容量仅增加约 3%；GB300 NVL72 较 H200 平台在每用户每秒 100 token 条件下，每美元吞吐量最高提升 10 倍。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。