The Register· Colin Gallagher ·· 3 小时前AI 评分57
HPE 用 Alletra MP X10000 承接 KV cache 卸载,缓解 GPU 显存压力
HPE puts storage to work on AI’s expensive memory problem
AI 导读
HPE 介绍其 Alletra Storage MP X10000 的新用途:存放原本会被逐出 GPU 显存、之后需重算的推理 KV cache,并通过 RDMA for S3 加速数据路径。
来源:The Register · theregister.com