HF Daily Papers·· 15 天前精选AI 评分51
REALCLI 论文提出 CLI 智能体任务执行与人机协作统一评测基准
RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
AI 导读
REALCLI 提出一个成对基准,统一评估 CLI 智能体在真实 CLI 任务中的执行效果与人机协作质量。该框架包含 5 个维度、22 个子维度和 51 个交互场景模板,并提供 REALCLI-EXEC 与 REALCLI-COLLAB 两种模式,分别支持一次性完整说明和渐进式信息、纠正、约束修订及授权决策。
推荐理由
REALCLI把任务执行与运行时协作质量纳入同一评测,并区分一次性说明和渐进协作两种条件,便于定位CLI智能体的能力缺口。
来源:HF Daily Papers · huggingface.co