热点事件观察中
FDE-Gym:面向AI代理交付能力的评测基准发布
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
研究者发布FDE-Gym基准,测试AI代理在真实客户交付最后一公里场景中的表现。基准包含20个客户场景、18个行业的95个端到端任务,由行业专家从真实项目改写,按客户业务指标的归一化提升(0到1)打分,并对消息、试运行与等待时间扣分。 评估七家厂商13种模型配置后,最佳配置平均得分仅0.56,仅完成14个任务(得分≥0.8且无事故)。基准作者指出,隐含约束是当前的主要瓶颈。 同一评分标准下,另有一个在线平台供人类练习交付技能。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 04:00
FDE-Gym:AI 交付最后一公里的代理评测基准报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- HF Daily Papers精选FDE-Gym:AI 交付最后一公里的代理评测基准
FDE-Gym 是一个面向真实客户交付场景的 AI 代理评测基准,包含 20 个客户场景、18 个行业的 95 个端到端任务,由行业专家从真实项目改写而成。基准按客户业务指标的归一化提升(0 到 1)打分,并对消息、试运行与等待时间扣分;评估七家厂商共 13 种模型配置的结果显示,最佳配置平均得分仅 0.56、仅完成 14 个任务(得分≥0.8 且无事故),发现隐含约束被指为主要瓶颈。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。