跳到正文
HF Daily Papers·· 15 天前精选AI 评分51

REALCLI 论文提出 CLI 智能体任务执行与人机协作统一评测基准

RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents

AI 导读

REALCLI 提出一个成对基准,统一评估 CLI 智能体在真实 CLI 任务中的执行效果与人机协作质量。该框架包含 5 个维度、22 个子维度和 51 个交互场景模板,并提供 REALCLI-EXEC 与 REALCLI-COLLAB 两种模式,分别支持一次性完整说明和渐进式信息、纠正、约束修订及授权决策。

推荐理由

REALCLI把任务执行与运行时协作质量纳入同一评测,并区分一次性说明和渐进协作两种条件,便于定位CLI智能体的能力缺口。

来源:HF Daily Papers · huggingface.co