跳到正文
原文
Hugging Face Blog·· 15 小时前精选AI 评分77

PyTorch 2.15 改进 MPS 后端:FP8 上线、MoE 解码 5–6.5× 提速

MPS in PyTorch 2.15

AI 导读

PyTorch 2.15 大幅改进 Mac 上的 MPS 后端,新增 FP8(float8_e4m3fn)支持,并把 MoE 模型的 grouped matmul。

推荐理由

给出 FP8、MoE 5–6.5× 解码提速、Wan2.2 显存从 270 GiB 降到 8 GiB 等实测数字,本地推理用户可直接对照决定升级。

来源:Hugging Face Blog · huggingface.co