HF Daily Papers·· 8 天前精选AI 评分35
SoloQ:面向扩散语言模型的免校准量化方法
SoloQ: Calibration-Free Quantization for Diffusion Language Models
AI 导读
SoloQ 提出面向扩散语言模型的免校准后训练量化框架,用结构化 K-RPBH 旋转与轻量重缩放把权重和激活映射到可预测分布,从而支持分布匹配码本和硬件原生 NVFP4。
推荐理由
提出面向扩散语言模型的免校准量化方法,保留 4-bit 精度并给出 NVFP4 部署下的显存与推理加速数据。
来源:HF Daily Papers · huggingface.co