跳到正文
原文
HF Daily Papers·· 2 天前精选AI 评分43

MemT-1.0:迈向记忆原生进化的基础模型架构

MemT-1.0: Towards Memory-Native Evolution

AI 导读

MemT-1.0 提出把连续记忆内嵌到基础模型计算中的记忆原生架构,基于 Metis 采用 Gated DeltaNet-2 与 Mixture-of-Storage 扩展原生记忆容量,并配合 34B tokens 的两阶段训练(持续预训练+后训练)。

推荐理由

对比原生内存机制与检索增强方法在长上下文场景下的推理与存储效率,并给出智能体任务结果,可作为长记忆架构设计的参考。

来源:HF Daily Papers · huggingface.co