Hacker News· Ir0n·· 2 小时前精选AI 评分40
Mesh Applied 在单张 RTX 5090 上以 255 tok/s 运行 Qwen3.8
Running Qwen3.8 at 255 tok/s on a single 5090
AI 导读
Mesh Applied 通过后训练、NVFP4 量化和内核特化，在单张 RTX 5090 上以 255 tok/s 运行 Qwen3.8-Flash-Next-NVFP4。RTX 6000 推荐配置支持 4 用户并发达 334 tok/s aggregate，面向编码与日常任务，配套 Goethe 框架（github.com/meshapplied/goethe）。
推荐理由
原文给出了通过后训练、NVFP4 量化和内核特化把 Qwen3.8 推到单卡 5090 上 255 tok/s 的具体方法，可供本地部署优化参考。
正文 · AI 翻译
针对您的推理需求的任务专用开放模型。
我们采用最新的开源模型，并通过一系列后训练、量化和内核专项优化技术，使它们能够在本地硬件上快速运行。
- - 推荐硬件：1x RTX6000
- - 4 个用户，总计 334 tok/sec
- - 用于编码和日常任务
使用 Goethe 框架：
~ git clone https://github.com/meshapplied/goethe.git
来源：Hacker News · meshapplied.com