LLM 推理优化掌握路线

本文提供一套 LLM 推理优化路线，围绕 prefill 与 decode 的性能差异，系统介绍 KV caching、PagedAttention、批处理、注意力优化、模型压缩、推测解码和多 GPU 并行化。文章强调，应根据延迟、吞吐、上下文长度和硬件预算，对实际工作负载进行 profiling 后选择优化技术。