跳到正文
热点事件持续更新

Composo 开源洗碗机装载基准 DishwasherBench v0.1.0

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Composo 发布 DishwasherBench v0.1.0,这是一套基于一台 Bosch SMV4HAX40G 洗碗机物理仿真的评测框架,让人和大语言模型分别通过浏览器或 MCP 进行装载游戏,并按洗涤结果打分。属于早期版本,目前尚无人类玩家提供基线成绩。 只有两个 GPT 模型(gpt-6.1-sol 和 gpt-6-astra)通过 OpenAI 兼容端点跑过 7 关中的 3 关,每关 6 局;Anthropic API 路径尚未在真实接口上运行。仿真以一次真实洗涤做校准,但盘子、刀叉堆叠以及蛋白、茶渍等土壤的评分仍被报告为不可信。

AI 根据报道生成 · 33 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. Hacker News精选
    DishwasherBench:评测前沿模型能否装好洗碗机

    DishwasherBench v0.1.0 发布,是基于一台 Bosch SMV4HAX40G 洗碗机物理仿真的评测框架,让人与大语言模型分别通过浏览器或 MCP 玩装载游戏并按洗涤结果打分。两个 GPT 模型(gpt-6.1-sol、gpt-6-astra)已通过 OpenAI 兼容端点跑过 7 关中的 3 关;仿真以一次真实洗涤做校准,但盘子、刀叉堆叠与蛋白、茶渍等土壤的评分仍不可信。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。