HF Daily Papers·· 2 天前精选AI 评分47
AdaExploreBench：面向演化环境中主动探索与测试时适应能力的 LLM 智能体基准
AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments
AI 导读
AdaExploreBench 是一个面向 LLM 智能体的新基准，要求智能体主动发现隐藏规则并适应未宣告的规则变化。在八款主流大语言模型上的实验显示，GPT-6 Sol 仅取得 61.9% 校准准确率，提供充分证据或移除规则漂移可使平均性能提升约 10 个百分点，表明当前模型的关键瓶颈在于主动获取证据和识别失效知识。
推荐理由
针对智能体在演化环境中的主动探索与隐式规则变化下的适应能力，该基准在八款主流大语言模型上量化了能力差距，并指出了关键瓶颈。
来源：HF Daily Papers · huggingface.co