Ai2 提出 DiScoFormer，单个 Transformer 同时估计密度与 score
Ai2 提出 DiScoFormer 模型，可在一次前向传播中同时估计样本所在分布的密度与 score，无需按分布重训。模型用交叉注意力加双输出头，并通过一致性损失在推理时适配分布外输入，训练数据来自随机采样的高斯混合模型。
推荐理由：把密度与 score 估计合入同一个无需重训的 Transformer，并用与 KDE 的对比给出高维场景下的具体提升幅度。
内容类型
论文研究 最新动态
值得读的 AI 论文与研究成果：架构创新、训练方法、能力测量与理论进展。
502 条精选近 30 天 477 条共收录 600 条
更新
精选归档 · 第 26 页
Ai2 Blog精选AI 评分4444
Ai2 Blog精选AI 评分4545 混合模型在哪些 token 上预测更好？Ai2 对 Olmo 3 与 Olmo Hybrid 的逐 token 损失分析
Ai2 对其 7B 模型 Olmo 3（Transformer）与 Olmo Hybrid 做了逐 token 对比，发现混合架构在表义类词（名词、动词、形容词等）上的损失比 Transformer 低约 0.04。
推荐理由：用逐 token 的损失对比揭示了混合架构在表义词类上的具体优势以及在复制场景下的失效，为架构评估提供了比平均损失更细的维度。