HF Daily Papers·· 1 天前精选AI 评分43
ALLOT 提出按输出敏感度分配视频扩散 Transformer 块稀疏注意力的免训练方法
Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers
AI 导读
ALLOT 是一种免训练方法，可在延迟预算下按层与去噪步骤分配视频扩散 Transformer 的块稀疏注意力密度，以最大化输出保真度。该方法通过 cell probing 和 trajectory calibration 估计各层与步骤组合对最终视频误差的贡献，并保留现有选择策略和 kernel，仅替换分配组件。
推荐理由
论文将块稀疏注意力的分配从启发式规则转为输出敏感度驱动，并说明如何仅替换分配组件接入现有策略与 kernel。
来源：HF Daily Papers · huggingface.co