HF Daily Papers·· 4 天前精选AI 评分48
论文提出 AIR 有效学习率调度用于权重归一化训练
Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training
AI 导读
研究作者提出 AIR（Affine Inverse-square-Root decay）调度，将理论推导的 1/t 衰减与仿射调整结合，以满足有限训练周期内指定的峰值和终端 LR。
推荐理由
论文将调度对象从名义 LR 转向有效学习率，并用 128 B-token MoE 预训练对比展示 AIR 对训练损失、下游表现和超参数鲁棒性的影响。
来源：HF Daily Papers · huggingface.co