跳到正文
热点事件观察中

FDE-Gym:面向AI代理交付能力的评测基准发布

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

研究者发布FDE-Gym基准,测试AI代理在真实客户交付最后一公里场景中的表现。基准包含20个客户场景、18个行业的95个端到端任务,由行业专家从真实项目改写,按客户业务指标的归一化提升(0到1)打分,并对消息、试运行与等待时间扣分。 评估七家厂商13种模型配置后,最佳配置平均得分仅0.56,仅完成14个任务(得分≥0.8且无事故)。基准作者指出,隐含约束是当前的主要瓶颈。 同一评分标准下,另有一个在线平台供人类练习交付技能。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. HF Daily Papers精选
    FDE-Gym:AI 交付最后一公里的代理评测基准

    FDE-Gym 是一个面向真实客户交付场景的 AI 代理评测基准,包含 20 个客户场景、18 个行业的 95 个端到端任务,由行业专家从真实项目改写而成。基准按客户业务指标的归一化提升(0 到 1)打分,并对消息、试运行与等待时间扣分;评估七家厂商共 13 种模型配置的结果显示,最佳配置平均得分仅 0.56、仅完成 14 个任务(得分≥0.8 且无事故),发现隐含约束被指为主要瓶颈。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。