HF Daily Papers·· 2 天前精选AI 评分35
SpecMRL:通过参数化谱基底改进 Matryoshka 表示学习
SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum
AI 导读
SpecMRL 提出在 Matryoshka 表示学习(MRL)中引入由参数导出的谱基底,按特征重要性重排特征空间,从而改进压缩嵌入的读取。SpecMRL 在 MTEB 评测的各压缩维度上均优于标准 MRL,压缩越激进增益越大;仅用一半嵌入维度即可超过全维度 MRL 的表现。
推荐理由
原文给出在 MTEB 上的对比结果,读者可以据此判断 SpecMRL 相对 MRL 的实际收益与适用场景。
来源:HF Daily Papers · huggingface.co