英伟达通过 vLLM 上游优化将 Kimi K3 推理速度提升 1.68 倍

英伟达通过上游 vLLM 优化，让 2.8 万亿参数量的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user，相比相同硬件性能提升 1.68 倍。该优化由 CentML 工程师 Benjamin 完成，采用 Cute DSL 编写的 Megakernel 融合，并包含 1.2 万行代码；英伟达还在为 vLLM 开发 DeepSeek V4.1 等模型的优化。