SparseDecoding提出LLM解码感知剪枝框架

论文作者提出面向大语言模型解码阶段的感知剪枝框架SparseDecoding，把校准数据改为模型自回归生成时的激活，以对齐解码分布。 作者称，在Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B/32B上，该框架在A100 GPU上最高实现1.48倍端到端解码加速。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。