HF Daily Papers·· 5 天前精选AI 评分50
UserArena:长程购物智能体的交互式用户模拟基准
UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents
AI 导读
UserArena推出面向长程购物智能体的真实电商交互基准,含11,010名用户的64,729条会话轨迹,并支持生产A/B结果离线验证。基准覆盖566,102个商品和13种动作类型,五级评估涵盖输出有效性、局部决策、序列行为、个性化和结果。论文还提出On-Policy Trajectory Distillation(OPTD),在所评估模拟器中取得最高整体保真度,并最接近复现生产策略效应。
推荐理由
UserArena提供真实购物长程轨迹与五级评估框架,可对照模拟器保真度及其对生产策略效应的复现程度。
来源:HF Daily Papers · huggingface.co