Simon Willison·· 20 小时前AI 评分19
Qwen3.8 27B 模型加法结果用英文单词表达的基准测试
Qwen3.8 27B addition in words
AI 导读
禁用推理时,Qwen3.8-27B-Q4_K_M.gguf 在 5,070 道加法题中仅 23.57% 能用英文单词正确输出结果,对 10-13 位数正确率从 1-3 位的 97.04% 跌至 6.44%;启用中等推理后,169 道对比题答对 167 题。该测试在 DGX Spark 本地硬件上完成,灵感来自两年前用 GPT-4o 做的同类实验。
来源:Simon Willison · simonwillison.net