Mac 本地跑大模型：显存与速度计算器

计算器

哪款 Mac 能运行哪个 LLM，速度多快

在 Apple Silicon 上本地运行模型，两个数字决定一切：能否装进统一内存——这是参数数量的算术；以及生成速度——这是内存带宽除以权重大小。在下方选择你的 Mac 和模型，计算器会自动算出这两项。

可以。Llama 3.3 70B 以 Q4_K_M 量化在 64 GB 的 M4 Pro 上运行。

预计生成速度约为 5.7 tokens/sec。权重占 42.8 GB，8K tokens 上下文增加约 1 GB，加上 macOS 占用后，你的 64 GB 中已有 53.2 GB 被占用。

租用一台能运行它的 Mac：64 GB 的 M4 Pro Mac mini

年付方案 $197/月，或月付方案 $286/月。一台预装 Ollama 并提供 OpenAI 兼容端点的专用机器，约 5 分钟即可就绪。

租用这台 Mac

这个方案要花钱。56 GB 统一内存在任何 Mac 上都不便宜。

在你决定购入硬件之前值得了解：租用一台 64 GB 的 M4 Pro 一个月要 $286，足够你在自己的文档上运行 Llama 3.3 70B，看看 5.7 tokens/sec 究竟够不够你原本想要的用途。

两个公式

内存。以 GB 为单位的权重等于参数量（以十亿计）乘以每个权重所占的 bit 数，再除以 8。计入 GGUF 元数据后，Q4_K_M 平均约为 4.85 bit，Q8_0 约为 8.5 bit，FP16 正好 16 bit。再加 15% 的运行时开销，加上你上下文长度所需的 KV 缓存，然后为 macOS 预留 3 GB。一个刚好能装下、毫无余量的模型，只要粘贴一篇长文档就会被迫换入 SSD，而换入带来的代价远远超过任何量化所能省下的。

速度。生成一个 token 意味着把每个活跃权重都恰好从内存读取一遍，因此带宽除以权重大小即决定了上限。在此之上还存在每个 token 的固定开销，不会随模型变小而减小：采样、内核启动、框架开销等。每个 token 耗时就是这两项之和。基于我们在两台机器——一台基础款 M4 和一台 M5 Pro——上测得的 8 次 dense 运行进行拟合，结果为理论带宽的 90.8% 加上 3.3 ms 的开销，并能在 4.6% 的误差内复现这 8 次运行中的每一次。

第二项正是大多数计算器忽略的部分，也是它们的数字在小模型端变得不再可信的原因。单纯用带宽预测 Llama 3.2 3B 在 M5 Ultra 上可达 525 tokens/sec，而我们的预测是 177，因为一旦权重降到 2 GB 左右，限制你的就是每个 token 的固定开销，而非内存总线。底层测算的方法与原始 JSON 见 基准测试页，模型及其数据和测试代码以 MIT 协议发布在 GitHub，便于你对照自己的运行进行核验。

这个数学哪里会出错

在你根据网页上的数字花钱之前，值得了解的事。

• 开销项在所有芯片之间被设为常量。实际上，它几乎肯定会随着更快的芯片而降低，这意味着 Max 和 Ultra 芯片的预测数字更可能是偏低而非偏高。对一台你即将购买的机器，我们宁愿给出保守的估计。
• 提示处理完全是另一个数字。预填充阶段受计算限制而非带宽限制，在同等规模下，不同模型系列之间相差约 2 倍。我们在相同硬件上测得 Qwen 2.5 7B 为 1,130 提示 token/秒，而 Llama 3.1 8B 为 587 提示 token/秒。如果你把整篇文档喂给模型并希望得到简短回答，这个差距比所有人都在引用的生成速度更重要。
• M4 和 M5 Pro 之外的每一行都是推算而非实测。两台机器足以证明公式可以推广：在基础款 M4 上以 120 GB/s 拟合后，对 M5 Pro 在稠密模型上的预测误差在 4.1% 以内。但这不足以把其余称为实测。其余数据与社区报告一致，我们也将估算标注为估算。
• 我们之前搞错的是混合专家模型。只读取激活的专家时，预测 Qwen3 30B A3B 为 91 token/秒，而机器实际跑出 78 token/秒。每个 token 都要读取注意力层和网络的共享部分，而专家层只读取一部分，因此实际读取量约为激活权重大小的 1.3 倍。这一修正已体现在上述数字中。它来自一种架构和两个模型，所以这是一项有据可循的修正，而非定律。
• 阉割版芯片比它们名字暗示的要慢。搭载 32 核 GPU 的 M4 Max 跑出 410 GB/s，而搭载 40 核的为 546 GB/s。盒子上印的是同一个名字，生成速度却相差 33%。

每个模型在 Q4_K_M 下的内存与速度

最小内存假设 8K 上下文，并为系统预留 3 GB。速度为生成速度，单位 token/秒。短横线表示该模型在其最大内存配置下无法装入该芯片。

各芯片的速度以其最大内存配置为前提：M4 为 32 GB，M4 Pro 为 64 GB，M4 Max（40 核 GPU）为 128 GB，M5 Ultra 为 512 GB。

从 M1 到 M6 的 Apple Silicon 内存带宽

如果要挑选硬件，这是最有用的表格，因为你要买的本质上是带宽。数据为苹果官方公布的规格，验证于 2026-09-11。每颗常用于推理的芯片也都有自己的页面，列出每种内存配置下完整的模型逐项数据。

常见问题

在 Mac 上运行 70B 模型需要多少内存?

在 Q4_K_M 下使用短上下文大约需要 56 GB:约 43 GB 的权重、15% 的运行时开销、一到两 GB 的 KV 缓存,以及留给 macOS 的 3 GB。这使得 64 GB 成为最小的实用配置,在当前产品线中意味着 M4 Pro、M5 Pro 或任何 Max、Ultra 芯片。在 Q8 下同一模型需要约 128 GB。

更快的 GPU 会让 Mac 上的本地大语言模型更快吗?

对生成而言,几乎不会。生成一个 token 意味着从内存中读取每个活跃权重一次,因此生成速度由内存带宽决定,而非 GPU 核心数量。一颗 24 GB 的 M4,即便 GPU 核心更多,运行 8B 模型的速度也与 16 GB 的 M4 相同,因为两者都在 120 GB/s 的总线之上。提示词处理是例外:该阶段受计算瓶颈限制,确实会随核心数量扩展。

这些速度估算的准确度如何?

它们能在 4.6% 的误差范围内复现我们自己的测量结果。拟合基于两台机器上的十次运行：在 120 GB/s 的基础版 M4 上跑了六个模型，在 307 GB/s 的 M5 Pro 上跑了四个。第二台机器更有意思，因为这些常数是在我们拿到它之前就拟合好的。在 2.5 倍的带宽下，稠密模型的预测仍然落在 4.1% 以内：Qwen3 8B 预测 47.4 tokens/sec，实测 47.8；Qwen 2.5 14B 预测 28.2，实测 29.4。这十次运行以外的一切都只是从同样两个常数做的外推，而不是从机器上读出来的数值。把它们当作规划数字——挑硬件时够用，但还没精确到可以引用的程度。

为什么计算器要为系统预留 3 GB？

因为一个刚好能塞下、毫无余量的模型，必然会开始换出。macOS、浏览器，以及任何调用模型的代理进程都需要内存，一旦机器开始把页面换到 SSD，生成速度就会崩塌，不管带宽算式怎么说。

混合专家（MoE）模型也适用同样的算式吗？

内存上适用，速度上不适用。MoE 模型必须把所有专家都放在统一内存里，所以能否装下取决于总参数量。每个 token 只读取激活的专家，因此生成速度取决于激活参数量。这就是为什么一个 37B 激活参数的 671B MoE，生成速度可以比稠密 70B 还快，却需要八倍的内存。

当答案是你并不拥有的一台 Mac

如果你想要的模型需要 64 GB 或更多内存，而且机器必须全天候可达，购买并非唯一选项。我们出租专用的 Apple Silicon，已经预装 Ollama，并已开放兼容 OpenAI 的端点——从 $99/月的基础版 M4 Mac mini，到 256 GB 的 Mac Studio。硬件与本页相同，算式也与本页相同，托管的麻烦则一概没有。