Google提出大模型“睡眠”持续学习框架

Google Research 的 Ali Behrouz 等研究者提出并实验评估 sleep 框架，让大语言模型在活跃交互与离线“睡眠”阶段间切换：持续学习新事实，并将短期上下文巩固为长期参数。 框架通过扩展 MoE 参数、采用 GKD 和基于强化学习的模仿学习巩固记忆，再以随机专家选择、合成数据筛选及微调进行“做梦”式自我改进。研究者称，整个过程仍限于固定模型架构和人工设定的训练规则。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。