Apple Silicon 跑 LLM 性能计算器发布

开发者 bagdaerdev 在 Hacker News 发布了一个 Show HN 计算器，用于估算各款苹果芯片 Mac 本地运行大语言模型时的显存占用与生成速度，按权重体积检查能否装入统一内存，再以内存带宽除以权重大小估算生成速度。 其拟合公式基于两台机器（一台基础款 M4、一台 M5 Pro）上的八次密集模型实测，为理论带宽的 90.8% 加上 3.3 毫秒固定开销，据开发者称对那八次实测结果的复现误差在 4.6% 以内；M4 与 M5 Pro 之外的所有芯片数据均为按公式推算，并非实测。测量方法与原始 JSON 数据已公布在 benchmarks 页面，模型与测试代码以 MIT 协议开源在 GitHub。 计算器还显示芯片分档的实际差异：同为 M4 Max，32 核 GPU 带宽 410 GB/s，40 核为 546 GB/s，同名型号的生成速度相差 33%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。