现代 LLM 注意力变体可视化指南

Sebastian Raschka 以图解和开源权重模型实例，系统比较 MHA、GQA、MLA、SWA、DSA、门控注意力与混合注意力。文章重点分析各方案对 KV 缓存、长上下文计算、检索能力和实现复杂度的不同影响，并梳理 Qwen3-Next、Kimi Linear、Ling 2.5 与 Nemotron 等架构的组合方式。文中同时整理了包含 45 个条目的 LLM 架构图库，并提供海报版本。