Hacker News· anemll·· 3 小时前精选AI 评分36
Qwen3.8-27B 在 iPhone 18 Neural Engine 上以 1.5 bpw 量化达到 15–70 tok/s
Qwen3.8-27B on the iPhone 18 Neural Engine at 15–70 tok/s (1.5 bpw)
AI 导读
Qwen3.8-27B 在 iPhone 18 Neural Engine 上以 1.5 bpw 量化实测达到 15–70 tok/s 的推理速度。结果由 anemll 在 X 上分享，帖子在 Hacker News 获得 12 个赞和 2 条评论。
推荐理由
在 iPhone 18 Neural Engine 上以 1.5 bpw 量化实测 Qwen3.8-27B，给出 15-70 tok/s 的端侧推理速度区间，可作为开发者评估同类模型本地部署性能与量化方案的参考依据。
来源：Hacker News · twitter.com