Google Research·· 2 小时前精选AI 评分67
Google 提出 sleep 框架：让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线睡眠两个阶段间交替，把短期上下文巩固为长期参数。睡眠阶段通过 MoE 参数扩展、知识播种与随机专家激活的“做梦”自改进循环缓解灾难性遗忘；在 BABILong 上近完美扩展到 10M tokens，在 AIME 24/25 与 HMMT 25 上分别取得 79.2%、69.0%、46.1% 的准确率。
推荐理由
Google 提出模拟睡眠的持续学习框架，用 MoE 参数扩展和离线巩固缓解灾难性遗忘，并给出多基准对比结果。
来源：Google Research · research.google