HF Daily Papers·· 2 天前精选AI 评分44
SpecSlot 通过角色耦合 token 化解耦全局通信与图像细节建模
Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
AI 导读
SpecSlot 通过局部频谱槽和受限全局注意力，在不增加全局注意力序列长度的情况下提升像素空间生成 Transformer 的图像细节。模型将每个空间锚点扩展为多个互不重叠的 DCT 频带槽，仅让最低频槽参与全局注意力，其余槽在局部交互，同时保留像素空间生成状态、目标和损失。
推荐理由
论文将全局通信与高频细节建模解耦，并提供同算力对照和多项生成结果，便于理解降低注意力成本的机制。
来源：HF Daily Papers · huggingface.co