《预训练数据的词汇印记》论文分析词汇分布与 LLM 零样本准确率的关联

论文作者在 arXiv 发布 NeurIPS 2026 论文《预训练数据的词汇印记》，提出以词级 unigram 交叉熵衡量预训练语料与目标基准之间的词汇对齐。实验发现，标准基准中几乎所有词汇都已在预训练阶段出现，模型在不同词之间分配的概率质量会留下可测量的词汇印记。更强的词汇对齐在从零开始的受控实验中持续对应更高的零样本准确率。