Soft-MTP 通过 KL 梯度恢复改进多 Token 预测

Soft-MTP 通过 KL 梯度恢复移除多 Token 预测中的噪声残差，在不增加参数且无可测开销下改善困惑度、推测解码与推理表现。该方法支持 DeepSeek 和 Meta 风格的 MTP；在 167M 至 1.2B 参数规模上，相比标准 MTP 获得更低的 NTP 困惑度、更快的推测解码和更高的 zero-shot 准确率，1.2B 模型微调后的数学与代码推理也更强。