跳到正文
原文
HF Daily Papers·· 21 小时前AI 评分34

TTR-Compressor:用测试时回归重新思考序列压缩

Rethinking Sequence Compression with Test-time Regression

AI 导读

研究者提出 TTR-Compressor,作为标准池化与投影式序列压缩的实用替代方案。它在高效 LLM 的块级稀疏注意力压缩和 MLLM 的 VL projector(merger)中均展现出强劲的实证增益。潜在应用包括视频/音频时间压缩、从头训练原生高效 ViT,以及通过按深度压缩改善深度扩展。

来源:HF Daily Papers · huggingface.co