AgentSWE 基准：编码 Agent 能否真正交付用户想要的智能体

AgentSWE 是面向智能体软件工程的 25 任务基准，覆盖创建、编辑、优化三个阶段，测试发现受测编码 Agent 均无法交付真正符合需求的智能体。每个任务用少量示例供构建者迭代，再以冻结提交在覆盖完整需求的隐藏用例上按派生 rubric 通过或不通过打分，论文还归纳了对可见用例过拟合、空壳运行时与虚假完成声明三类失败模式。