跳到正文
论文与研究官方

谷歌提出“睡眠框架”:让LLM持续学习不忘旧知

The sleep framework: A new way for LLMs to retain knowledge in continual learning

谷歌研究院提出“睡眠框架”,让大模型在活跃交互与离线“睡眠”阶段间交替:睡眠时通过MoE参数扩展、知识蒸馏与强化学习模仿巩固短期记忆,并以“做梦”式自生成样本自我提升。实验称在满语等未见语言翻译上近乎零遗忘,BABILong长上下文理解可扩展至1000万token,事实知识注入与数学推理均优于SFT、GRPO等基线。

GGoogle Research Blog阅读原文

相关阅读

论文与研究·Microsoft Research
微软研究披露Lazarus后门技术,可重编程休眠神经元控制AI智能体
论文与研究·Google DeepMind Blog
DeepMind 用 AlphaProof Code 形式化验证 Signal 协议代码
论文与研究·NVIDIA Blog
NVIDIA 在 CoRL 发布开源世界动作模型 GR00T 2 与 Isaac Lab 3.0