多模态大语言模型跨模态共享检索头机制研究

这项研究考察多模态大语言模型的检索头是否会随输入模态增加而扩展，并用音频与画面呈现相同答案的配对输入进行验证。在18个语言、视觉语言和全模态检查点上，全模态模型基本保留骨干模型的检索头，消融这些头几乎消除全部音视频检索。