跳到正文
原文
HF Daily Papers·· 3 天前精选AI 评分50

Δτ-Bench 评测智能体适应工具生态变化的能力

Δτ-Bench: Pushing Agents Toward a Moving Capability

AI 导读

论文提出 Δτ-Bench 可执行智能体评测基准,考察工具持续演化时的适应能力,并提出 Steward 生态管理器以联合管理工具与程序性知识。基准包含 1,588 个经验证的多轮任务,覆盖 42 个领域和六个连续生态状态;受测模型与框架的最好任务成功率仅为 42.3%,现有技能学习方法的初始收益也未能稳定转化为后续适应能力。

推荐理由

论文用可执行任务量化智能体在工具生态变化下的适应难题,受测模型与框架的最好任务成功率仅为42.3%。

来源:HF Daily Papers · huggingface.co