HF Daily Papers·· 2 天前精选AI 评分38
RoboValue 提出机器人价值模型细粒度仿真与真实统一评测基准
RoboValue: A Fine-Grained Sim-and-Real Benchmark for Unified Evaluation of Robotic Value Models
AI 导读
RoboValue 提出面向机器人价值模型的细粒度仿真与真实统一评测基准,覆盖任务状态理解、时序进度监控、失败与恢复推理和价值一致性四个维度。数据集包含 15 个仿真任务和 20 个真实世界操作任务,并提供专家演示与标注轨迹;零样本、单样本及机器人本体和环境变化评测显示,模型仍会在细粒度指令落地、历史依赖进度跟踪和恢复评估上出错。
推荐理由
该基准把仿真与真实机器人任务纳入同一评测框架,可用于对照价值模型在细粒度指令理解、进度跟踪和失败恢复上的误差。
来源:HF Daily Papers · huggingface.co