算子融合与快速注意力内核实践教程：从 FlashAttention 到 torch.compile 与 CUDA Graphs

教程讲解 Transformer 推理中的快速注意力内核与算子融合，用 PyTorch 和 vLLM 可运行示例演示 SwiGLU 融合、scaled_dot_product_attention 调用 FlashAttention 或 cuDNN 后端，以及 block_size 为 16 的分页 KV cache。