ECHO 以因果自递归实现无辅助模块的多时间跨度预测

ECHO 将多时间跨度预测直接集成到模型主干，以因果自递归和动态深度采样替代辅助模块，分别改善预训练效率与推理草稿生成。其最终层预测所有跨度，DDS 以随深度衰减的概率选择训练深度，使预训练模型能够充当自身草稿器。论文称，相较于训练所有深度的 MTP，额外训练开销减半，且优势在 token 预算加倍、重复预训练和监督微调后仍存在。