jimauthors质疑LLM置信度评分

jimauthors发布博客文章，称让LLM直接生成置信度分数并不可靠，建议继续由LLM作答，但改用可观察特征和历史正确率构建规则评分，并持续更新规则、检查校准度。 他解释，LLM输出的数字只是逐token延续出的合理文本，并未测量证据或按实际结果校准；同一问题重复询问或仅改变措辞时，分数可能变化。文章强调，规则必须建立在有人核验每次回复是否正确的记录上，否则无法从历史结果中学习，评分仍缺乏依据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。