HF Daily Papers·· 3 天前精选AI 评分41
AReA:面向高分辨率扩散 Transformer 的自适应感受野注意力机制
AReA: Adaptive Receptive-Field Attention for Efficient High-Resolution Diffusion Transformers
AI 导读
AReA 提出一种免训练的自适应感受野注意力机制,可在不增加参数的情况下降低扩散 Transformer 的推理成本并改善高分辨率生成质量。方法在去噪早期对下采样后的键值做跨尺度粗注意力以捕捉全局结构,后期在逐步收窄的窗口内做局部注意力以补充细节;作者称在多模型与多目标分辨率上均优于现有免训练基线,速度也更优。
推荐理由
针对 DiT 高分辨率推理成本与结构失真,给出一种免训练注意力方案,并与现有免训练基线做了对比。
来源:HF Daily Papers · huggingface.co