跳到正文
原文
HF Daily Papers·· 2 天前精选AI 评分37

ActionOPD:以动作而非 token 为单位蒸馏智能体决策

ActionOPD: Distilling Decisions, Not Tokens

AI 导读

ActionOPD 提出面向智能体的动作级在线蒸馏方法,通过最大化学生在自身状态下的教师动作似然来对齐决策,不要求师生共享 tokenizer,也无需访问教师 token 概率。用两位教师在工具调用任务上训练 Qwen3-4B 和 Qwen3-8B,在四个分布外基准上平均提升 3.3-6.9 个百分点,并在 τ^2-bench 上与离线蒸馏及 token 级 OPD 表现相当。

推荐理由

用动作级对齐替代 token 级蒸馏,使师生不必共享 tokenizer,并通过 Qwen3 系列验证了方法在不同规模学生模型上的稳定收益。

来源:HF Daily Papers · huggingface.co