HF Daily Papers·· 2 天前精选AI 评分48
Doc2Harness:编码智能体长链路 harness 工程的 LLM 评测基准
Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents
AI 导读
Doc2Harness 提出一个两阶段基准,直接评测模型为编码智能体构建长链路 harness 的工程能力,覆盖 19 个前沿模型、328 个测试用例。GPT-6 Astra 取得最高通过率 53.05%,最弱模型为 27.44%;即便最强模型仍有近一半用例失败,失败集中在跨模块功能的拆分方式上。
推荐理由
原文提出了针对 harness 工程的可复现评测方案,并给出 19 个前沿模型的具体差距,可据此对比模型在该层能力上的相对位置。
来源:HF Daily Papers · huggingface.co