IT之家·· 1 小时前AI 评分56
英伟达发布技术解读:以全栈协同设计缓解 AI 内存瓶颈
英伟达破局 AI 内存瓶颈:HBM 仅增约 3%,每美元智能体吞吐量最高提升 30 倍
AI 导读
英伟达于 11 月 5 日发布技术解读,提出以 GPU、CPU、网络、存储和软件整体协同设计的方式缓解 AI 内存瓶颈。具体手段包括 NVFP4 压缩权重与 KV 缓存、NVL72 中权重分散至最多 72 颗 GPU、Vera CPU 的 LPDDR 作缓冲、Dynamo 将不活跃上下文迁至 CMX 存储。
来源:IT之家 · ithome.com