跳到正文
HF Daily Papers·· 2 天前精选AI 评分53

离散视觉 token 能否成为视觉信号的语义无损表示?

Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?

AI 导读

这项研究表明,因子化向量量化可让离散视觉 token 在多模态理解上追平连续视觉表示,更大的量化误差也可能对应更好的理解表现。研究将有效 bit 预算识别为下游性能的关键因素,其模型在九项指标均值上较 UniAR 和 Emu3-Chat 分别领先 22.8% 和 59.2%,并在细粒度 OCR 任务上具备与 Qwen3-VL 等连续表示模型竞争的能力。

推荐理由

论文以量化误差与语义保真度的关系为切入点,对比连续与离散视觉表示,并给出可扩展的并行码本量化方案。

来源:HF Daily Papers · huggingface.co