跳到正文
原文
HF Daily Papers·· 5 天前精选AI 评分48

论文提出 HSS 基准评估多模态模型的直观视觉推理能力

Humanity's Sixth Sense: Benchmarking Intuitive Visual Reasoning in Multimodal Models

AI 导读

论文提出 Humanity's Sixth Sense(HSS)基准,用于评估多模态大语言模型的直观视觉推理能力。HSS 覆盖图像与视频输入,按直觉性的时间、空间、社交和抽象结构组织题目,人类受试者准确率达 93.1%,而最强模型 GPT-6-astra 在最大推理强度下仅 53.6%;引入动态视觉操作的智能体设置能缩小差距,但仍未弥合人与模型之间的鸿沟。

推荐理由

论文提出直观视觉推理这一评测轴,人类准确率 93.1% 而最强模型仅 53.6%,为多模态模型的差距对比提供了可量化的标尺。

来源:HF Daily Papers · huggingface.co