HF Daily Papers·· 2 天前精选AI 评分39
Cortex：把上下文巩固进大语言模型的参数化记忆
Cortex: Consolidating Context into Parametric Memory
AI 导读
论文提出记忆巩固框架 Cortex，通过生成前瞻性查询把上下文条件输出蒸馏为低秩或结构化 FFN 更新，使大语言模型在不损失非目标能力的前提下把上下文增益内化为参数。
推荐理由
原文给出把上下文增益内化为参数的记忆巩固方法与连续编辑下的保留数据，读者可据此与现有模型编辑或蒸馏方案对比。
来源：HF Daily Papers · huggingface.co