跳到正文
原文
HF Daily Papers·· 2 天前精选AI 评分55

FDE-Gym:AI 交付最后一公里的代理评测基准

FDE-Gym: The Last Mile of AI Delivery

AI 导读

FDE-Gym 是一个面向真实客户交付场景的 AI 代理评测基准,包含 20 个客户场景、18 个行业的 95 个端到端任务,由行业专家从真实项目改写而成。基准按客户业务指标的归一化提升(0 到 1)打分,并对消息、试运行与等待时间扣分;评估七家厂商共 13 种模型配置的结果显示,最佳配置平均得分仅 0.56、仅完成 14 个任务(得分≥0.8 且无事故),发现隐含约束被指为主要瓶颈。

推荐理由

针对代理在真实客户交付场景的能力缺口,给出了由行业专家改写的 95 个端到端任务基准与瓶颈定位。

来源:HF Daily Papers · huggingface.co