MPO：对齐长程大语言模型智能体的信用分配与策略更新

论文提出多尺度策略优化 MPO，以多尺度优势估计（MAE）和轮次级重要性采样，对齐长程大语言模型智能体训练中的信用分配与策略更新。研究观察到 critic value 主要随轮次变化，因此选择轮次作为优化锚点，并细化 token 间的信用分配。在搜索、工具使用和自动化任务上，MPO 使用 4B 和 30B-A3B 模型时较強 RL 基线取得一致增益。