HPE介绍Alletra MP X10000用于KV cache卸载

HPE 为其 Alletra Storage MP X10000 存储系统增加新用途：存放推理时原本会被逐出 GPU 显存、之后需重算的 KV cache，并通过 RDMA for S3 加速数据路径，以缓解 GPU 显存压力。 在与 Kamiwaza 验证的测试中，该方案相比不卸载 KV cache 的运行方式，首 token 时间最快提升 20 倍、有效推理吞吐最高提升 17 倍。HPE 和报道称这些数据是特定工作负载下的测试结果，不是普遍适用的保证。

AI 根据报道生成 · 47 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。