热点事件持续更新
Ai2发布TutorMoments评测框架与数据集
1 篇报道1 个报道来源2 小时前更新
先了解这件事
报道摘要
Ai2 发布 TutorMoments 预览版——一个基于真实数学辅导回放的评测框架,用来衡量大语言模型在辅导学生时能否平衡"搭支架"与"放手"之间的取舍。对 7 个模型的初步测试显示,它们普遍倾向于过度帮助;即便在提示词中点明这一权衡,表现仍未追上人类教师的一致水平。团队同步开源了 462 份美国 2-7 年级脱敏转录文本(含 1500 余个教师标注关键时刻)、评分代码与回放结果。
摘自 Ai2 Blog
报道时间线
沿着报道,了解事件的不同侧面。
10月3日
- Ai2 BlogAI2 发布 TutorMoments 预览版:评测大语言模型在辅导中能否把握"何时帮、何时放手"的取舍
Ai2 发布 TutorMoments 预览版——一个基于真实数学辅导回放的评测框架,用来衡量大语言模型在辅导学生时能否平衡"搭支架"与"放手"之间的取舍。对 7 个模型的初步测试显示,它们普遍倾向于过度帮助;即便在提示词中点明这一权衡,表现仍未追上人类教师的一致水平。团队同步开源了 462 份美国 2-7 年级脱敏转录文本(含 1500 余个教师标注关键时刻)、评分代码与回放结果。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。