跳到正文
热点事件持续更新

Ai2发布TutorMoments评测框架与数据集

1 篇报道1 个报道来源2 小时前更新

先了解这件事

报道摘要

Ai2 发布 TutorMoments 预览版——一个基于真实数学辅导回放的评测框架,用来衡量大语言模型在辅导学生时能否平衡"搭支架"与"放手"之间的取舍。对 7 个模型的初步测试显示,它们普遍倾向于过度帮助;即便在提示词中点明这一权衡,表现仍未追上人类教师的一致水平。团队同步开源了 462 份美国 2-7 年级脱敏转录文本(含 1500 余个教师标注关键时刻)、评分代码与回放结果。

摘自 Ai2 Blog

报道时间线

沿着报道,了解事件的不同侧面。

10月3日
  1. Ai2 Blog
    AI2 发布 TutorMoments 预览版:评测大语言模型在辅导中能否把握"何时帮、何时放手"的取舍

    Ai2 发布 TutorMoments 预览版——一个基于真实数学辅导回放的评测框架,用来衡量大语言模型在辅导学生时能否平衡"搭支架"与"放手"之间的取舍。对 7 个模型的初步测试显示,它们普遍倾向于过度帮助;即便在提示词中点明这一权衡,表现仍未追上人类教师的一致水平。团队同步开源了 462 份美国 2-7 年级脱敏转录文本(含 1500 余个教师标注关键时刻)、评分代码与回放结果。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。