谷歌提出“睡眠框架”:让LLM持续学习不忘旧知
The sleep framework: A new way for LLMs to retain knowledge in continual learning
谷歌研究院提出“睡眠框架”,让大模型在活跃交互与离线“睡眠”阶段间交替:睡眠时通过MoE参数扩展、知识蒸馏与强化学习模仿巩固短期记忆,并以“做梦”式自生成样本自我提升。实验称在满语等未见语言翻译上近乎零遗忘,BABILong长上下文理解可扩展至1000万token,事实知识注入与数学推理均优于SFT、GRPO等基线。
GGoogle Research Blog阅读原文