跳到正文
原文
HF Daily Papers·· 8 天前精选AI 评分35

SoloQ:面向扩散语言模型的免校准量化方法

SoloQ: Calibration-Free Quantization for Diffusion Language Models

AI 导读

SoloQ 提出面向扩散语言模型的免校准后训练量化框架,用结构化 K-RPBH 旋转与轻量重缩放把权重和激活映射到可预测分布,从而支持分布匹配码本和硬件原生 NVFP4。

推荐理由

提出面向扩散语言模型的免校准量化方法,保留 4-bit 精度并给出 NVFP4 部署下的显存与推理加速数据。

来源:HF Daily Papers · huggingface.co