HF Daily Papers·· 9 天前精选AI 评分50
论文提出基准是难度分布上的经验测度
Your Benchmark Is an Empirical Measure Over Difficulty
AI 导读
该研究将基准评测形式化为难度分布上的经验测度，提出两项诊断指标和题目改写算法 BenchFill。作者将基准失效归纳为测度错配与覆盖缺口，并给出理论保证。实验覆盖7个领域的25个热门基准，发现不少基准偏重特定难度区域或留下覆盖空白，BenchFill 能减少局部覆盖缺口，论文见 https://arxiv.org/abs/2610.29927
推荐理由
论文给出基准难度分布的诊断指标与题目改写算法，并用25个基准、7个领域的数据揭示覆盖缺口。
来源：HF Daily Papers · huggingface.co