跳到正文
原文
HF Daily Papers·· 5 天前精选AI 评分36

Virtual Head Attention:兼顾 KV cache、FLOPs 与模型质量的长上下文注意力机制

Virtual Head Attention

AI 导读

Virtual Head Attention (VHA) 通过 Q Premix 与 Linear Postmix 两个轻量线性变换,在不引入非线性操作的前提下同时降低 KV cache 与训练/预填计算开销,并可在推理时折叠回标准 GQA-2 架构复用现有推理优化。

推荐理由

原文给出了 VHA 在长上下文推理中相对 GQA、MLA 的具体收益与边界,方便读者评估该方案替代现有注意力机制的可行性。

来源:HF Daily Papers · huggingface.co