Ai2 Blog·· 2026-06-29精选AI 评分44
Ai2 提出 DiScoFormer，单个 Transformer 同时估计密度与 score
DiScoFormer: One transformer for density and score, across distributions
AI 导读
Ai2 提出 DiScoFormer 模型，可在一次前向传播中同时估计样本所在分布的密度与 score，无需按分布重训。模型用交叉注意力加双输出头，并通过一致性损失在推理时适配分布外输入，训练数据来自随机采样的高斯混合模型。
推荐理由
把密度与 score 估计合入同一个无需重训的 Transformer，并用与 KDE 的对比给出高维场景下的具体提升幅度。
来源：Ai2 Blog · allenai.org