HF Daily Papers·· 5 天前精选AI 评分44
SWE-Duel:面向编码智能体的自扩展对战评测方法
SWE-Duel: Towards a Self-Scaling Arena for Coding Agents
AI 导读
论文提出 SWE-Duel 评测方法,由两个编码智能体在评测时互相出题与判题,任务在测试时动态生成以避免训练数据泄漏。在 11 个模型与 15 个跨语言仓库的 1,500 轮对战里,GPT-5.5 搭配 Codex CLI 修复 98.3% 被审核缺陷,Claude Opus 4.8 搭配 mini-swe-agent 作为出题方胜率 27.3%。
推荐理由
原文给出在评测时动态生成任务与题解的自扩展基准方法,可与传统静态编码基准在抗训练污染和抗饱和上做对比。
来源:HF Daily Papers · huggingface.co