跳到正文
原文
NVIDIA Developer Blog· Elizabeth Goodman·· 23 天前AI 评分27

Full-Stack NIM 优化如何让 Nemotron 3 Ultra 承载用户数提升 2.5 倍

How Full-Stack NIM Optimizations Deliver 2.5x More Users on Nemotron 3 Ultra

AI 导读

Full-Stack NIM 优化让 Nemotron 3 Ultra 可承载的用户数提升 2.5 倍。相关优化面向生产环境中的大语言模型服务,旨在利用可用 GPU 基础设施支持更多并发用户,同时保持应用响应所需 interactivity,并适应 agentic AI 工作负载中较长提示词和可复用上下文等需求。

来源:NVIDIA Developer Blog · developer.nvidia.com