S-Space：剖析多模态语言模型内部空间表征子空间

本文在多模态语言模型中发现一个名为 S-Space 的线性表征子空间，其物体 token 表征会沿水平、垂直和距离轴编码连续坐标，并随非空间问题也保持可读。研究表明 S-Space 是模型内部的空间工作区，可被感知写入、内部推理转换，并在语言回答时被选择性读取。作者进一步把它用作空间推理失败的诊断工具，指出模型虽能形成合格的空间表征，但在跨视角变换所需的空间推理上存在关键瓶颈。