LabRobotBench v0.1 发布湿实验室机器人智能体评测基准

我们的计算机模拟仿真复现了实体机器人的命令接口，使我们能够开发并评估可自主开展实验、从设备故障中恢复的智能体。

机器人遇到错误时，实验可能停滞，直到有人介入处理。能够诊断问题并安全恢复工作的智能体，可以让实验整夜持续运行、减少停机时间，并让科学家同时开展更多实验。这正是我们在 Gamow Labs 所研发的技术：通过利用智能体提高实验吞吐量，推动人类进步。

为应对这一挑战，我们推出 LabRobotBench。其评测测试前沿 AI 模型如何对物理空间和复杂生物工作流进行推理，以排查问题并执行湿实验室实验。

01 / 恢复中断的实验

结果

每个智能体能够恢复多少所需的实体操作流程？

0%25%50%75%100%

案例 01 · 恢复中断的细胞检测

一台机器人在一项涉及四盘细胞的实验中途停止。其中三盘仍可进行检测。智能体需要完成它们的准备工作、测量结果并将其收好。第四盘已经变质，需要单独放置。

机器人停止时，每个托盘所处的步骤都不同。智能体必须判断哪些步骤已经完成，然后完成细胞清洗、添加用于测量细胞活性的化学物质，并运行测量仪器。它还需要保存结果，并确保每个托盘都盖上盖子后放回原处。重复进行化学处理可能会毁掉样本。

即使实验尚未完成，托盘也可以安全地放回货架。重要的问题在于细胞是否接受了正确的处理，并及时完成测量。

观看 Opus 将带有黄色标签的托盘放回货架。其细胞已经清洗完毕，但智能体始终没有添加检测所需的化学物质，也没有测量结果。托盘被收了起来，实验仍未完成。

案例 02 · 挽救检测和冷藏库存

智能体有多项任务争抢其注意力：完成两项实验、单独放置一份变质样本、将两盘物资送回冷藏存储，并让一个对照样本保持不动。其中一些任务只剩几分钟时间。

一个实验需要在 200 秒内完成下一次化学物质添加。冷藏物资离开储存区的时间不得超过 240 秒。由于所有托盘都由同一台机器人移动，智能体必须选择先处理哪些托盘。

在实验室中，处理一个样本可能意味着让另一个样本继续等待。智能体需要同时跟踪两个截止时间，并选择能够保护材料的处理顺序。

这些智能体选择了不同的优先事项。

GPT 及时将两盘冷藏物资送回储存区，但未能完成其中一项实验。Opus 完成了两项实验，但让两盘物资在外部停留过久。

看着 Gemini 将标有红色标签的托盘运往冷藏设备。托盘被存入设备时，已经在外部放置了约 422 秒——远超 240 秒的时限。机器人成功运送了托盘，但为时已晚，未能满足任务要求。

案例 03 · 完成一项对时间敏感的剂量-反应测定

这项实验测试细胞对不同剂量化学物质的反应。智能体需要完成两盘细胞的检测，并将第三盘已经变质的细胞放在一旁。其中一盘已接近测量截止时间。

智能体需要在规定时限内完成实验。细胞接受测试化学物质处理后，智能体有 30 分钟时间完成对其反应的测量。它需要检查哪些步骤已经完成，完成样品制备，并留出足够时间让测量仪器运行。

这类时间要求在活体生物学实验中很常见，因为样本的反应可能在处理后发生变化。按要求的时间进行测量，有助于科学家比较不同样本的结果。因此，智能体不仅需要操作设备，还需要围绕实验时间安排作出规划。

看着 GPT 将托盘从测量仪器中取出。机器已经运行完毕，但测量在截止时间后 42.5 秒才结束。机器人继续照常操作，智能体随后仍报告测试已完成。

与我们合作

在 Gamow Labs，我们处于 AI 与湿实验室生物学的前沿，致力于更深入地理解罕见疾病。我们正在打造能够操作机器人实验室的智能体，帮助科学家揭示遗传变化如何导致疾病。

如果你正在开发前沿模型、建设实验室自动化，或希望拓展实验能力，我们期待与你合作。