HF Daily Papers·· 10 天前精选AI 评分37
GAFU：利用生成侧表征提升统一多模态模型的细粒度理解
What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models
AI 导读
GAFU 提出一种后训练框架，将统一多模态模型的生成侧视觉表征压缩为紧凑的 G tokens，再由理解路径按任务条件检索，以提升细粒度视觉理解。论文发现，生成侧表征对细粒度语义变化更敏感，并能捕获理解侧表征遗漏的任务相关变化。
推荐理由
GAFU 的生成侧表征压缩与任务条件检索机制清晰，且与同数据 SFT 基线进行了跨任务、跨架构比较。
来源：HF Daily Papers · huggingface.co