HF Daily Papers·· 5 天前精选AI 评分46
NoteBank 用稀疏记忆回放释放线性注意力的长上下文能力
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
AI 导读
NoteBank 是一面向线性注意力的稀疏情节记忆机制：把选定文本存档后，通过主干原生前向计算回放，无需额外训练、外挂嵌入模型或独立检索器即可即插即用。
推荐理由
训练无关的稀疏记忆外挂让线性注意力在百万 token 上仍保持检索能力，并可直接挂接到现有预训练骨干上复用。
来源：HF Daily Papers · huggingface.co