NVIDIA Developer Blog· Tanya Lenz·· 3 小时前AI 评分35
借助 Global Performance Tuner 将 NVIDIA TensorRT 性能优化扩展至单一构建路径之外（上）
Scaling NVIDIA TensorRT Performance Optimization Beyond a Single Build Route with the Global Performance Tuner, Part 1
AI 导读
Global Performance Tuner 将 NVIDIA TensorRT 性能优化扩展到单一构建路径之外。TensorRT 构建推理引擎时，会对相互依赖的 graph-IR 转换、融合、实现选择、内存放置和量化作出调度决策；部署训练完成的神经网络并非简单地将每个算子转换为 GPU kernel，而是一个存在多种可行方案的编译问题。
来源：NVIDIA Developer Blog · developer.nvidia.com