HF Daily Papers·· 5 天前精选AI 评分36
Virtual Head Attention:兼顾 KV cache、FLOPs 与模型质量的长上下文注意力机制
Virtual Head Attention
AI 导读
Virtual Head Attention (VHA) 通过 Q Premix 与 Linear Postmix 两个轻量线性变换,在不引入非线性操作的前提下同时降低 KV cache 与训练/预填计算开销,并可在推理时折叠回标准 GQA-2 架构复用现有推理优化。
推荐理由
原文给出了 VHA 在长上下文推理中相对 GQA、MLA 的具体收益与边界,方便读者评估该方案替代现有注意力机制的可行性。
来源:HF Daily Papers · huggingface.co