Apple ML Research 用 MLX 在 Mac Studio 集群上分布式推理 Muse Spark Open

内容类型 精选亮点

MLX on Mac with Apple silicon 让 AI 研究人员和开发者在本地私密环境中试验最新的模型和方法。这个开源数组框架利用了 Apple silicon 的统一内存架构，使任何人都可以在自己的硬件上运行新的推理和微调方法，并探索其他 AI 技术。在之前的文章中，我们重点介绍了 M5 架构及其 GPU Neural Accelerator 的优势。

在这篇文章中，我们将展示如何使用今天发布的最新版 MLX，在你桌面上运行最新的前沿级模型——参数量接近一万亿的 Muse Spark Open。在由四台 Mac Studio 组成的集群上，Muse Spark Open 的生成速度超过每秒 36 个 token（见图 1），远高于普通人阅读的速度。

从单台 Mac Studio（最高 512GB 统一内存）开始，然后通过 RDMA over Thunderbolt 驱动扩展到多台 Mac，下面我们将概述你当前可以在 Mac Studio 上运行的各类模型。

我们使用 MLX LM 包在Mac Studio上对几款流行的开源权重 LLM 进行了基准测试，正如我们在之前的文章中所述。我们比较了两代 Mac Studio：最近发布的 M5 Ultra 和上一代 M3 Ultra。M5 代配备了 GPU Neural Accelerator，支持专用的矩阵乘法运算，这对许多机器学习工作负载至关重要。

我们评估了三款前沿级模型（表 1），其规模跨度很大（单位为十亿参数，B）：新发布的 Muse Spark Open（816 B）、Mistral Medium 3.5（128 B）和 Qwen 3.8（27 B）。Muse Spark Open 是一个混合专家（MoE）模型，每次推理只激活一小部分专家——因此也只激活一小部分参数，从而减少了推理时的计算量，评估采用的是 NVFP4 精度。Mistral Medium 3.5 和 Qwen 3.8 是稠密架构，推理时所有参数均激活，评估采用它们各自的原生浮点精度（分别为 FP8 和 BF16）。

我们的评估在不同上下文长度下测量三个指标：首 token 时间（TTFT，单位为秒）、生成吞吐量（单位为 token/秒）和峰值功耗（单位为瓦）。本文中的所有性能数据均通过 mlx_lm.benchmark 获得。例如，使用 8,192 token 的上下文运行 Qwen 3.8 并生成 128 个 token，可通过以下命令行完成：

mlx_lm.benchmark --model Qwen/Qwen3.8-27B -p 8192 -g 128 -b 1

在 Mac Studio 上本地运行 LLM 的一个常见用途是在私密环境中运行智能体体验，包括通常需要大上下文的智能体编码应用。因此，我们分别报告了在 8,192 和 65,536 上下文长度下的性能。

原始 TTFT 和解码吞吐量分别在 表 2 和 表 3 中报告。

Qwen 3.8 27B 和 Mistral Medium 3.5 128B 在配备 512GB 内存的单台 Mac Studio 上运行舒适，在大上下文规模（65,536 tokens）的设置下分别占用最多 68GB 和 158GB 的内存。在 图 2 中，我们在配备 512GB 内存的单台 Mac Studio 上对比了它们在 M3 Ultra 和 M5 Ultra 上的推理性能。

首 token 时间（TTFT）本质上是计算受限的，这正是 M5 Ultra GPU 中 Neural Accelerator 发挥优势的地方：GPU Neural Accelerator 对快速矩阵乘法的专用硬件支持直接转化为 TTFT 的显著加速，相比 M3 Ultra 最高可达 4.6 倍（见 图 2）。这使得配备 M5 Ultra 的 Mac Studio 在处理涉及超大上下文的任务时成为首选台式机。

生成速度（以 tokens/秒为单位）受内存带宽限制。M5 Ultra 芯片提供 1.2 TB/s 的统一内存带宽，而 M3 Ultra 为 819 GB/s。同样，这也直接体现在生成速度上（见 图 3），配备 M5 Ultra 的 Mac Studio 报告其 tokens/秒速度提升了 1.6 倍。

Mac Studio 在 LLM 推理方面同样能效出色（见 图 4）：配备 M3 Ultra 的 Mac Studio 峰值功耗约为 200W，配备 M5 Ultra 的 Mac Studio 约为 300W——仅为普通烤面包机功耗的一小部分。更重要的是，这种适度的功耗意味着 Mac Studio 可以在任何家庭或办公环境中部署用于 AI 工作。

虽然 Qwen 和 Mistral 模型都能在配备 512GB 内存的单台 Mac Studio 上运行，但 Muse Spark Open 仅模型参数在其原生精度（BF16）下就需要超过 1.6TB 的内存。在 4-bit 量化（NVFP4）格式下，模型内存占用降至约 493GB。再加上推理过程中中间计算所需的内存，模型就无法在单台机器上运行了。它需要跨多台 Mac Studio 计算机进行并行化。

像 Muse Spark Open 这样超大的前沿级模型无法在单台机器上运行。不过，可以将模型的一半存储在一台 Mac Studio 上，另一半存储在另一台上。然后我们可以将模型推理流水线化地分布在两台计算机上：第一台 Mac Studio 执行模型前半部分的层，然后将输出发送到第二台 Mac Studio，由后者执行后半部分。这种并行化方案称为流水线并行（见 图 5），实现起来非常简单，只需要极少的代码改动。

MLX 支持不同的并行化方案，如 MLX distributed 文档中所述。这些方案依赖于快速的机器间通信：macOS 26.2 引入了一个基于 Thunderbolt 5 的低延迟 RDMA 驱动，MLX（v0.30.1 及更高版本）构建在该驱动之上，并提供用于不同并行化方案的新通信集合操作（jaccl，读作“jackal”）。在我们的设置中，两台 Mac Studio 通过两根 Thunderbolt 线缆相连（以使链路带宽翻倍），提供 jaccl 所使用的 RDMA-over-Thunderbolt 链路。完成主机设置后，MLX 提供 mlx.launch，这是一个用于在多个节点上启动作业的辅助命令：

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.benchmark --model mistralai/Mistral-Medium-3.5-128B -p 8192 -g 128 -b 1 --prefill-step-size 8192 --pipeline

在此命令中，--backend jaccl 指定 RDMA Thunderbolt 驱动后端。--env MLX_METAL_FAST_SYNCH=1 标志启用一项实验性的 MLX 特性，用于实现快速的 CPU-GPU 同步，从而减少 CPU（启动 Thunderbolt 通信的一方）与 GPU（执行计算的一方）之间的通信开销。

总体而言，使用流水线并行的解码推理速度（见 图 7）与单台机器非常接近，因为各层仍是顺序计算的。通信开销也非常低，因为只需要交换两组层之间的中间输出。

然而值得注意的是，对于非常大的上下文（我们的基准测试中为 65,536 个 token），流水线并行在 prefill 阶段比单节点更快——最高可达约 1.8 倍（见 图 6）。这是因为 MLX 将大上下文分割成更小的块（此处为 8,192 个 token，由 --prefill-step-size 8192 设置），并在各台机器上对 prefill 进行流水线处理：当第二台机器计算块 k 的后面层时，第一台机器正在计算块 k+1 的前面层，因此连续的块在时间上重叠。为了实现更好的计算并行化，我们接下来转向张量并行。

张量并行（见 图 5）将 LLM 的宽度分布到多台计算机上，这与流水线并行相反，后者沿模型的深度进行切分。此时每台机器只持有模型每一层的一部分，从而实现单层计算的并行化。如果实现得当，张量并行可以提升推理速度。然而，张量并行的复杂度更高：每一层都必须并行化，这增加了代码复杂度。该方案还涉及许多小型的通信操作：每个输入 token 的每一层都需要广播输入并汇总输出。因此，诸如 MLX jaccl 所支持的 Thunderbolt RDMA 之类的超低延迟通信技术，对于该方法能否带来任何速度收益至关重要。

借助 MLX 的高层 mlx.launch 辅助工具，切换到张量并行非常容易。Mac Studio 计算机之间通过 Thunderbolt 网格连接，每对机器之间用两根 Thunderbolt 线缆进行点对点直连。在假设主机已配置好的前提下，只需在多台机器上运行基准测试：

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.benchmark --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 -p 8192 -g 128 -b 1

图 8 和 图 9 展示了使用两台或四台搭载 M5 Ultra 的 Mac Studio 相对于单台机器基线（对 Muse Spark Open 而言则是相对于流水线并行基线）所获得的加速比。值得注意的是，密集架构在多机下的扩展性更好。

在机器数量较少时，张量并行的通信开销会在极大上下文长度下抵消其一部分计算收益，不过这只发生在 prefill 阶段。Muse Spark Open 就出现了这种情况：其专家输出的单独归一化增加了一些 prefill 通信开销，以至于在极大上下文（65,536 token）下，双机张量并行的表现落后于双机流水线并行。但随着机器数量增加，该方法的优势便会显现出来，正如四台 M5 Ultra 的结果所示。Decode 阶段不受影响：即使在极大上下文长度下，Muse Spark Open 在张量并行下仍能保持显著的 decode 加速，与 Qwen 3.8 和 Mistral Medium 3.5 等密集模型相当。

双线缆网格在 prefill 阶段同样具有优势，此时额外的链路带宽得以发挥。对于在四台 M5 Ultra 上、65,536 token 上下文下的 Muse Spark Open，每链路两根线缆将 TTFT 从约 50.5 秒（单线缆）缩短至 40.6 秒——即 表 2 中所报告的双线缆数值，单线缆运行则为额外的实验。

近来，Mac 上的智能体 AI 获得了相当大的发展势头，智能体编程工具在开发者中被广泛采用。借助 MLX，在本地驱动这些工具只需使用 mlx_lm.server 工具启动一个服务器即可。例如，要在 8080 端口启动运行 Muse Spark Open 的服务器，可使用如下命令：

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080

与 mlx_lm.benchmark 类似，mlx_lm.server 辅助工具可以加上 mlx.launch 前缀，以便在多台 Mac Studio 之间并行计算。在此基础上，可通过 OpenCode 等工具启用智能体 AI，该工具可轻松配置为使用本地 LLM 服务器：

{
  "$schema": "https://opencode.ai/config.json",
  "model": "meta-models/Muse-Spark-Open-816B-A42B-NVFP4",
  "provider": {
    "mlx": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Local MLX",
      "options": {
        "baseURL": "http://127.0.0.1:8080/v1"
      },
      "models": {
        "meta-models/Muse-Spark-Open-816B-A42B-NVFP4": {
          "name": "Muse Spark Open 816B (MLX)"
        }
      }
    }
  }
}

许多其他本地智能体 AI 体验也可以通过类似的方式实现。

过去一年中，我们在 MLX 中实现了多项关键创新，以便在最新的 Apple 芯片上更轻松、更高效地运行业界领先的 LLM。这些创新包括：为 M5 系列芯片 GPU 中的 Neural Accelerators 提供软件支持、利用基于 Thunderbolt 的 RDMA 实现多台 Mac 之间的低延迟通信，以及对近期流行架构（如混合专家模型 MoE）的高效实现。这些创新各自都能带来提升，但当它们与最新 Apple 硬件——搭载 M5 Ultra 的 Mac Studio、M5 Ultra GPU 中的 Neural Accelerators、512GB 统一内存，以及基于 Thunderbolt 5 的 RDMA——相结合时，我们便能在本地运行诸如 Muse Spark Open 这样参数量超过 800B 的模型，首 token 生成（time-to-first-token）速度最高可达上一代 Mac Studio 的 4.6 倍。

• 了解更多
• MLX LM GitHub 仓库
• MLX Hugging Face 社区
• MLX 分布式支持

相关文章与更新。

Apple 即将在一年一度的 国际学习表征会议（ICLR） 上展示新研究成果，该会议将于 4 月 23 日至 27 日在巴西里约热内卢以线下形式举行。我们很荣幸再次赞助此次大会，ICLR 汇聚了聚焦深度学习的学术界与工业界研究社区。以下是 Apple 参与 ICLR 2026 的概览。

阅读更多

搭载 Apple 芯片的 Mac 在希望利用 Mac 实验最新模型和技术的 AI 开发者和研究者中越来越受欢迎。借助 MLX，用户可以在 Mac 上高效探索和运行 LLM。它使研究者能够在自己的硬件上，于本地私密环境中尝试新的推理或微调技术，或研究各种 AI 技术。MLX 支持所有 Apple 芯片系统，并在最新……

阅读更多