Google Research·· 6 小时前AI 评分44
Google Research 提出 sleep 框架，改善 LLM 持续学习中的知识保留
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线睡眠阶段间切换，持续学习新事实并将短期上下文巩固为长期参数。框架以 MoE 参数扩展、GKD 和 RL 模仿学习完成记忆巩固，再通过随机专家选择、合成数据筛选与微调进行“做梦”式自我改进。
来源：Google Research · research.google