NVIDIA Developer Blog· Elizabeth Goodman·· 17 天前AI 评分30
TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic Benchmark，速度快 6.4 倍
TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor
AI 导读
TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic Benchmark，速度快 6.4 倍。该结果面向车辆、机器人等边缘设备上的 AI agent 推理需求；这类系统需要快速生成 token，并处理包含工具选择、结果评估和持续推理的较长对话流程。
来源：NVIDIA Developer Blog · developer.nvidia.com