跳到正文
原文
HF Daily Papers·· 5 天前精选AI 评分48

Jev 决策模型控制器增加智能体成本但未提高成功率

Good Judgment, Bad Advice: Decision-Model Controllers Raise Agent Cost Without Improving Success

AI 导读

Jev 决策模型控制器使 Claude Sonnet 5.5 终端智能体每次尝试成本增加 19%,通过率与无控制器基线同为 73.0%。在 Terminal-Bench 2.1 的 21 个留出任务、315 次试验中,Jev 的成本比 Claude Haiku 5.5 控制器低 19%,但比采样开发阶段选择频率的安慰剂控制器高 22%,未检测到组间通过率差异。

推荐理由

研究固定智能体循环并比较无控制器、规则、小型 LLM 与 Jev,量化了决策信号排序与实际干预效果之间的落差。

来源:HF Daily Papers · huggingface.co