Cortex 论文：把上下文巩固进大语言模型参数

一篇论文提出名为 Cortex 的记忆巩固框架，通过生成前瞻性查询，把上下文条件输出蒸馏为可合并的低秩或结构化前馈网络（FFN）更新，使大语言模型在不损失非目标能力的前提下把上下文增益内化为参数。 论文称，在覆盖 4B 到 120B 的稠密模型和混合专家模型（含纯文本与多模态）的多数评测设置中，Cortex 落在"巩固-保留"帕累托前沿；在 14B 模型上经过 50 次连续事实编辑后，Cortex-Structural 恢复了 88.9% 的上下文效果，同时保留 99.8% 的原始非目标能力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。