NVIDIA Developer Blog· Tanya Lenz·· 12 天前AI 评分54
NVIDIA TensorRT 多设备集成支持在 NVIDIA Dynamo-Triton 中跨多 GPU 执行模型
Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton
AI 导读
NVIDIA TensorRT 多设备推理使单个 TensorRT network 可通过基于 NCCL 的分布式集合通信跨多 GPU 执行，并保留 TensorRT 推理优化。该能力从 TensorRT 11.0 起获得完整支持。
来源：NVIDIA Developer Blog · developer.nvidia.com