VerifierBench：评测 LLM 智能体生成可执行验证器的能力

VerifierBench 汇集 6 个智能体基准的 222 个任务和 4,993 个隐藏测试用例，用于评测 LLM 智能体生成可执行验证器的能力。统一框架下测试 19 个模型后，归一化平衡准确率为 10.6–62.1，生成的验证器更可靠地拒绝无效解，却常因过严限制误拒有效解。多数误拒来自未接受任何受测解的验证器，案例还涉及解格式、工具使用和代码改动的无依据假设；项目页和数据集已公开。