构建自主发现线性注意力架构的 AI 研究团队

论文构建了一支由不同学科背景的持久 AI 研究智能体组成的团队，用于自主发现线性注意力架构。团队通过私有研究历史、共享实验证据和自适应分配选择研究机会，在 1.3B 规模下的语言建模、常识推理及合成和真实世界检索任务中超过 GDN2。消融实验显示，移除学科背景、私有历史或自适应分配均会削弱发现表现，论文链接为 https://arxiv.org/abs/2610.28887。