Sebastian Raschka 介绍标准 LLM 之外的模型架构

Sebastian Raschka 对标准自回归 Transformer 之外的 LLM 架构进行概览，涵盖线性注意力混合模型、文本扩散模型、代码世界模型和小型递归 Transformer。文中比较了它们在长上下文效率、并行生成、代码状态建模和结构化推理方面的特点，同时指出准确率、工具调用、训练复杂度与适用范围等取舍。