HF Daily Papers·· 21 小时前AI 评分34
TTR-Compressor:用测试时回归重新思考序列压缩
Rethinking Sequence Compression with Test-time Regression
AI 导读
研究者提出 TTR-Compressor,作为标准池化与投影式序列压缩的实用替代方案。它在高效 LLM 的块级稀疏注意力压缩和 MLLM 的 VL projector(merger)中均展现出强劲的实证增益。潜在应用包括视频/音频时间压缩、从头训练原生高效 ViT,以及通过按深度压缩改善深度扩展。
来源:HF Daily Papers · huggingface.co