Pan 等人推出 Taste-Bench 长周期决策基准

Pan 等人推出 Taste-Bench 基准，从 SWE-bench Pro 和 METR 的 MALT 转录数据中提取 502 个路径分叉点，要求模型在每个分叉从两条路径中选出更优方向。报道称，现有 AI 智能体在该基准上的长周期决策"品味"欠佳。 该基准每道题以正反顺序各问一次，两次都答对才计入，随机猜测基线为 25%。研究团队测试了 Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistral 等系列的 14 个当前模型。基准与代码已公开。 以 Qwen3.6-27B 为基座训练的学生模型在未见任务上的准确率从 30% 提升至 47.9%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。