跳到正文
原文
HF Daily Papers·· 2 天前精选AI 评分38

RoboValue 提出机器人价值模型细粒度仿真与真实统一评测基准

RoboValue: A Fine-Grained Sim-and-Real Benchmark for Unified Evaluation of Robotic Value Models

AI 导读

RoboValue 提出面向机器人价值模型的细粒度仿真与真实统一评测基准,覆盖任务状态理解、时序进度监控、失败与恢复推理和价值一致性四个维度。数据集包含 15 个仿真任务和 20 个真实世界操作任务,并提供专家演示与标注轨迹;零样本、单样本及机器人本体和环境变化评测显示,模型仍会在细粒度指令落地、历史依赖进度跟踪和恢复评估上出错。

推荐理由

该基准把仿真与真实机器人任务纳入同一评测框架,可用于对照价值模型在细粒度指令理解、进度跟踪和失败恢复上的误差。

来源:HF Daily Papers · huggingface.co