跳到正文
原文
Qwen·· 2026-08-24精选AI 评分73

千问开源 Qwen3.8-Flash-Next 模型,作为 Qwen4 架构实验预览

Qwen/Qwen3.8-Flash-Next-FP8

AI 导读

千问(Qwen)在 Hugging Face 开源 Qwen3.8-Flash-Next 的 FP8 量化权重,称其为 Qwen4 架构的实验性预览版本。该模型总参数 125B、激活 6B,并附带 51B n-gram embedding 与 4B MTP,原生 262,144 tokens 上下文可通过 YaRN 扩展至 1,000,000 tokens。

推荐理由

作为 Qwen4 架构的实验预览,文中给出的稀疏注意力与 N-gram 嵌入设计可与既有 MoE 路线横向对照。

来源:Qwen · huggingface.co