跳到正文
HF Daily Papers·· 2 天前精选AI 评分50

iPrefBench:面向个性化移动端智能体的用户中心基准

iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents

AI 导读

研究提出iPrefBench基准,用于评估个性化移动端智能体能否从活动历史推断缺失的用户偏好,或在必要时向用户追问。基准在可执行iOS环境中配合交互式模拟用户,覆盖26个应用、130个信息不完整的任务,并基于包含3,051条历史活动事件的人设构建。7个前沿智能体的评测中,行动完成率最高为91.6%,完整任务成功率最高为47.7%,且尤其难以充分询问只能由用户提供的必要信息。

推荐理由

iPrefBench在可执行iOS环境中检验移动智能体的偏好推断与追问能力,7个前沿智能体的评测显示行动完成率与完整任务成功率存在明显落差。

来源:HF Daily Papers · huggingface.co