谷歌Research提出LLM持续学习sleep框架

Google Research 提出面向 LLM 持续学习的 sleep 框架：模型在主动交互的“唤醒”阶段与离线的“睡眠”巩固阶段之间交替，把脆弱的短期上下文转化为稳定的长期参数，以持续学习新知识并缓解灾难性遗忘。整个过程在固定模型架构和人工定义的训练规则内进行。 睡眠阶段利用 MoE 扩展参数，并结合 GKD 蒸馏、知识播种与做梦式自我改进。据其博客介绍，该框架可将长上下文知识保留扩展至 10M tokens，在 BABILong、SQuAD、AIME 24/25 等基准上优于 ICL、SFT、SEAL、GRPO 等基线；在满语、Kalamang 等未见语言的评估中性能下降接近零。

AI 根据报道生成 · 8 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。