Google Research 提出 sleep 框架：让 LLM 在持续学习中巩固记忆并自我改进

Google Research 团队提出用于持续学习的 sleep 框架，通过唤醒与离线睡眠两阶段交替，将脆弱的短期上下文转化为长期参数，缓解灾难性遗忘。睡眠阶段利用 MoE 扩展参数并结合 GKD 蒸馏、知识播种与做梦式自改进；实验显示长上下文可扩展至 10M tokens，在 BABILong、SQuAD、AIME 24/25 等基准上优于 ICL、SFT、SEAL、GRPO 等基线。