Sebastian Raschka· Sebastian Raschka, PhD·· 24 天前AI 评分62
GPT-6 Astra、循环 Transformer 与隐藏推理分析
GPT-6 Astra, Looped Transformers, and Hidden Reasoning
AI 导读
Sebastian Raschka 分析 GPT-6 Astra 的表现、循环 Transformer 机制及其与隐藏推理链的关系,称 Astra 在计算机操作和图形任务上表现突出,但采用循环 Transformer 的说法仍缺乏官方确认。文章还比较固定循环、自适应停止和按 token 路由等方案,并结合研究说明增加循环主要增加计算,不必然增加知识存储能力。
来源:Sebastian Raschka · magazine.sebastianraschka.com