SciΠvot:评估 LLM 智能体在科研关键节点的判断力

SciΠvot 是一个包含 248 例的科研判断评测基准,基于六个月里 6 个学科 26 个项目中资深研究者纠正 LLM 智能体的真实记录构建。在中推理努力且附带项目记录的条件下,5 个前沿模型中有 4 个表现低于随机,模型普遍偏好 LLM 原始方案而非人类修正方案;项目条件下最高准确率仅 63.5%,低于人类新人的 73.4%。