JEPA证明并改进柏拉图表示假说

Randall Balestriero 在 arXiv 发布论文，给出并证明“柏拉图表示定理”：当正样本对来自同一场景的两个观察、其余错位受限时，分别在不同模态上训练的 JEPAs 可学到仅相差一次旋转的表示。 论文将下一词元预测解释为使用同一文档片段这一“坏视图”的 JEPA，并以14.5万条图像描述及9.4亿张网页图像的文本验证对齐缩放规律；论文称，该规律对未见运行的预测误差处于随机种子噪声范围内。 研究还展示了一次旋转即可对齐独立训练的编码器并组成图像描述器，在 COCO 上取得 0.838 的 CIDEr。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。