HF Daily Papers·· 6 天前精选AI 评分48
编码智能体基准应匹配用户的任务流
Coding-Agent Benchmarks Should Match Their Users' Task Flows
AI 导读
该研究分析了 JetBrains IDE 中 4,782 段软件工程师与编码智能体的真实交互会话，发现长会话里的任务类型覆盖项目代码问答、规划、审查、重构和执行等多类，并会随会话进展切换类型，与基于 issue 的基准任务差异显著。
推荐理由
基于 4,782 段真实 IDE 会话数据，揭示当前编码智能体基准与实际任务流的差距，为评测设计提供新的校准依据。
来源：HF Daily Papers · huggingface.co