Hacker News· Ir0n·· 3 小时前精选AI 评分40
Mesh Applied 在单张 RTX 5090 上以 255 tok/s 运行 Qwen3.8
Running Qwen3.8 at 255 tok/s on a single 5090
AI 导读
Mesh Applied 通过后训练、NVFP4 量化和内核特化，在单张 RTX 5090 上以 255 tok/s 运行 Qwen3.8-Flash-Next-NVFP4。RTX 6000 推荐配置支持 4 用户并发达 334 tok/s aggregate，面向编码与日常任务，配套 Goethe 框架（github.com/meshapplied/goethe）。
推荐理由
原文给出了通过后训练、NVFP4 量化和内核特化把 Qwen3.8 推到单卡 5090 上 255 tok/s 的具体方法，可供本地部署优化参考。
正文 · 原文
Task-specialized open models for your inference needs.
We take the latest open source models, and through a series of post-training, quantization and kernel specialization techniques, we make them run fast on local hardware.
- - Recommended hardware: 1x RTX6000
- - 4 users, 334 tok/sec aggregate
- - for coding and everyday tasks
with the Goethe framework:
~ git clone https://github.com/meshapplied/goethe.git
来源：Hacker News · meshapplied.com