Apple Minions 论文：利用闲置 Apple Silicon Mac 构建分布式 GPU 推理云
Apple's Minions: A virtual GPU cloud built from idle Apple Silicon Macs
Apple 机器学习研究团队发布论文 Minions，提出将闲置 Apple Silicon Mac 的 GPU 聚合成分布式虚拟 GPU 云，用于执行大规模机器学习推理任务。
论文给出把闲置 Apple Silicon Mac 聚成虚拟 GPU 云的具体做法，为中心化 GPU 受限场景提供了一种替代方案。
作者Jianhua Li、Yun Xing、Girisha De Silva、Ryan Flint、Kai Yuan、Sean Suchter
对 GPU 加速机器学习推理日益增长的需求，暴露出集中式 GPU 基础设施的局限性，包括高昂的成本、有限的弹性以及在资源受限下的长时间等待。与此同时，现代基于 Apple Silicon 的 macOS 设备配备了强大的 GPU，在日常使用中基本处于闲置状态。本文介绍了 Minions，一个动态且分布式的虚拟 GPU 云，它将 macOS 设备上空闲的 Apple Silicon GPU 聚合起来，以执行大规模机器学习推理工作负载。Minions 使团队能够利用现有硬件，无需额外采购 GPU。该系统提供灵活的 GPU 推理任务执行、容错能力以及高效的资源利用。我们的经验表明，在集中式 GPU 资源受限的环境中，闲置的 macOS 设备可以被改造为一个实用的分布式 GPU 推理平台。
相关阅读与更新。
搭载 Apple 芯片的 Mac 在希望使用 Mac 来试验最新模型和技术的 AI 开发者与研究者中越来越受欢迎。借助 MLX，用户可以在 Mac 上高效地探索和运行大语言模型。它使研究者能够在自己的硬件上，于私有环境中实验新的推理或微调技术，或研究各类 AI 技术。MLX 兼容所有 Apple 芯片系统，并借助最新的……
加速大语言模型推理是一项重要的机器学习研究课题，因为自回归的 token 生成计算开销大且相对较慢，而提升推理效率可以降低用户延迟。除了在 Apple 芯片上持续推进推理加速之外，我们最近在加速业界广泛用于生产应用的 NVIDIA GPU 上的大语言模型推理方面也取得了显著进展……
来源：Hacker News · machinelearning.apple.com