跳到正文
NVIDIA Developer Blog· Dan Feigin·· 2 小时前AI 评分59

NVIDIA 开源 Snapshot 组件,加速 GPU 推理工作负载的启动与恢复

Start and Restore GPU Workloads in Seconds with NVIDIA Snapshot

AI 导读

NVIDIA 发布开源组件 NVIDIA Snapshot,隶属 NVIDIA DSX AI Factory Platform,可让已初始化的 GPU 工作负载在推理副本间复用。当推理需求激增或副本故障时,它通过避免耗时数分钟的 LLM 冷启动,加快启动与恢复速度。

来源:NVIDIA Developer Blog · developer.nvidia.com