跳到正文
原文
HF Daily Papers·· 5 天前精选AI 评分41

视觉语言模型属性-对象绑定研究:提出 SABER 基准与合成文本微调方案

Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models

AI 导读

论文提出 SABER 基准,揭示 CLIP 类双编码器和 MLLM 嵌入器在多模态检索中存在广泛的属性-对象绑定失败。SABER 覆盖四种图文模态配对、最多十个对象等更复杂设置;论文还展示仅用合成属性绑定文本微调 MLLM 嵌入器(无需图像监督),即可将性能迁移到跨模态和图像-图像检索,在 SABER 上取得 SOTA,同时在否定和实例检索基准上也有提升。

推荐理由

SABER 给出了跨四种图文配对的属性-对象绑定评测维度,并展示了不依赖图像监督的合成文本微调路径,对多模态检索相关工作有直接参考价值。

来源:HF Daily Papers · huggingface.co