DecisionPivot：评估 LLM 系统决策模型的诊断基准

该研究提出 DecisionPivot 诊断基准，用于评估 LLM 系统中决策模型在受控变化下的表现。它包含 48 项任务和 40,033 个条目，覆盖 7 类决策角色，并评估了 40 个决策模型和 14 个通用模型。实验中，两个 27B 模型在参考轨的聚合得分仅差 2.6 分，但对比组准确率分别为 70.1% 和 44.2%，显示总分无法完整反映模型的决策表现。