HF Daily Papers·· 3 天前精选AI 评分37
元专家：跨层专家共享实现存储与检索高效 MoE
Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE
AI 导读
研究提出在 MoE 层间共享 Meta Expert（元专家），以减少专家存储冗余并提升信息存储与检索效率。固定激活数量和专家粒度时，该模型使用 Vanilla MoE 70--80% 的专家即可达到相近性能；实验还观察到更低的交叉熵损失和更高的下游任务准确率，理论分析指出共享元专家提供更灵活的残差路径。
推荐理由
论文对比局部专家与跨层共享元专家，指出后者可减少参数冗余，并在固定激活量和专家粒度下用更少专家匹配 Vanilla MoE 性能。
来源：HF Daily Papers · huggingface.co