循环 Transformer 缩放研究显示完整 BPTT 在匹配计算量下胜过截断方案

研究团队通过近 600 次训练运行比较循环 Transformer 的完整 BPTT（按时间反向传播）与截断方案，发现匹配计算量时完整 BPTT 始终更优。统一缩放律显示，模型大小可调时，完整训练两轮循环是最佳设置；其验证损失低于计算最优的非循环模型，非嵌入参数约少 27%，训练计算量仅多 8%。论文地址为 https://arxiv.org/abs/2610.26030。