Azure Maia 300 架构深度解析

Azure Maia 自诞生之初便围绕一个统一的架构理念构建：优化整个系统以服务 LLM 推理，使每一瓦功率和每一美元都能交付更多智能。如今已发展至第三代，Maia 300 是这一理念最完整的体现。Maia 300 以完整系统的形态打造，软件、芯片、物理机柜基础设施、网络以及数据中心经过协同设计，作为单一平台运行，以满足云规模智能体（agentic）推理的需求。

随着智能体工作负载——包括多步执行、长上下文解码与工具调用——改变推理的计算特征与算术强度，这种系统级方法正变得愈发必要。应对这些需求需要持续保持局部性、以充足的内存容量和带宽供给算力、最小化数据搬移、高效扩展通信，并使尽可能多的能力装入数据中心固定的电力与散热容量之内。

在微软，我们通过客户每天都在使用的产品与平台——从 Microsoft Copilot 和 GitHub Copilot 一直到 Microsoft Foundry——第一时间见证了这场变革。如此规模化地运行这些工作负载，让我们对 AI 在各行各业的落地情况，以及支撑下一代 AI 应用与智能体所需的基础设施，拥有了独一无二的视角。Maia 300 旨在最大化每瓦的有用 token 数与每美元的有用 token 数，从而为这些产品以及微软更广泛的 AI 产品组合带来更强的容量、能力和性能，惠及我们的客户。

通过软件定义的数据流实现高能效推理

Maia 200 引入了一类全新的加速器架构，称为 Software Defined Locally Accessed Dataflow Architecture（软件定义本地访问数据流架构），简称 SDLA。它的出发点是这样一个观察：高效的数据管理——包括数据的存储、搬移与转换——是现代 AI 系统的核心挑战之一。Maia 的可编程数据流架构将控制路径的编程与数据路径的执行相分离，使软件能够在专用本地内存、DMA 引擎、计算引擎以及网络之间，显式地协调数据的放置、搬移、转换与同步。

Maia 300 针对长上下文、推理密集型与解码密集型推理场景，对该架构进行了演进。首先，内存组织由 SoC 的统一内存访问（UMA）结构，转向跨 chiplet 的、具备局部性意识的非统一（NUMA）结构，使软件可将数据放置在使用它的算力附近。其次，新引入的窄精度格式配合硬件加速的数据类型转换，可减少每个 token 所搬移的字节数。第三，机柜规模翻倍至 96 个加速器，scale-up 域扩展为拥有 12,288 个加速器的 superpod，使更多加速器能够作为一个统一的系统高效协作。

Maia 300 并非单纯依靠增加功耗和芯片面积来扩展性能，而是通过一系列架构创新，在系统层面优化数据搬移、局部性、精度与内存效率，从而提升每瓦性能：

• 多芯粒架构提升性能，做法是将计算部分放在 TSMC N2P 上，让先进制程带来最高的每瓦性能收益，同时把内存控制器和 I/O 功能分离到针对带宽、连接性和成本进行优化的裸片上。这增加了专用于计算性能的硅面积，并让每个功能都能使用最适合其角色的技术，而 SDLA 则负责管理整个封装上的局部性和数据搬移。该策略将系统的计算 FLOPs 提升 36%，HBM 带宽增加 2.5 倍，并提供多 14% 的纵向扩展带宽。
• 优化低精度推理，引入增强的 MXFP4 和低于 3 位的存储格式。更窄的表示可减少内存占用和数据搬移，使系统能够在相同功耗范围内支持更大的模型、更长的上下文和更多的并发会话。
• 通过 ISA 增强优化推理内核：向量引擎为关键推理内核添加了优化，包括 softmax、低精度数据类型转换等操作。
• 高效的片上数据搬移，Maia 300 将内存从统一组织改为跨芯粒的非统一（NUMA）组织。每个计算区域附近都有内存，SDLA 对 DMA 引擎、本地 SRAM、HBM 和片上网络的显式控制，将数据放在执行计算的位置旁边。数据传输距离更短，从而降低了搬运数据所消耗的能量。
• 针对每瓦带宽优化的内存层次结构，结合软件管理的片上 SRAM 与八个 HBM4 堆栈，每个加速器提供 288 GB 容量和 18 TB/s 带宽。与 Maia 200 相比，这提供了 2.5 倍的内存带宽、多 33% 的容量，以及约 2 倍的每瓦 HBM 带宽，使更多模型和 KV 状态更靠近计算。

Maia 300 相比 Maia 200 提供了 2.5 倍的内存带宽、多 33% 的容量，以及约 2 倍的每瓦 HBM 带宽

统一的纵向扩展互联：从 pod 到 superpod

Maia 300 将网络打造为其软件定义数据流架构的原生延伸。Maia 的 AI 网络控制器实现了基于以太网的定制 AI 传输。两层网络可构建一个包含多达 12,288 个加速器的高性能 superpod。Maia 向软件呈现统一的通信模型——在任何 superpod 内的任何加速器之间直接搬移数据都使用相同的语义。

• 机柜内半交换拓扑
  每个加速器将其纵向扩展连接分为直连链路和交换路径两部分。直连链路连接同一托盘中的两个加速器，而交换式网络连接机柜内的全部 96 个加速器以组成一个 pod。所有机柜内连接均使用电气链路，以降低功耗和成本。
• 跨机柜的光学第二层
  第二层交换机将多达 128 个机柜连接在一起，组成一个 superpod。光模块提供跨 pod 扩展纵向扩展网络所需的传输距离。

• 统一架构而非独立的纵向扩展与横向扩展域
  集成网络控制器和专用 AI 传输在 pod 内部以及跨 superpod 使用相同的通信语义。Maia 加速器可以直接发起与 superpod 内任何加速器的通信，无需主机或独立的横向扩展 NIC 参与。
• 低跳数通信路径
  存在三个延迟域：直连的加速器对属于最低延迟域，pod 内的加速器之间相隔一个交换机跳数，跨 pod 的加速器之间相隔三个交换机跳数。软件可以将对延迟敏感的张量并行流量保持在最低延迟域内本地处理。
• 分配给工作负载的带宽
  每个加速器在机柜内和跨机柜带宽之间的分配比例在系统设计时并不固定，而是成为一个根据作业打包情况设置的参数。当只有部分加速器进行跨机柜通信时，单个加速器可以向 superpod 内的任何对端提供高达 750 GB/s 的带宽。请参考下方的备用托架示例。
• 灵活的作业布局
  张量并行可以保持在 96 加速器机柜内，而更广泛的专家并行和流水线并行则跨越多个机柜。作业可以使用跨机柜边界的容量，减少当工作负载规模与物理机柜配置不匹配时产生的闲置加速器。

• 纵向扩展域内的分离式推理
  Prefill 和 decode 工作节点可以独立调整规模并独立放置。Prefill 计算完成后，KV 状态通过同一纵向扩展架构直接传输到选定的 decode 工作节点，而非通过单独的主机中介横向扩展路径离开该域。
• 跨机柜的弹性
  当加速器变得不可用时，调度器可以对软件内核透明地使用 superpod 内另一个机柜的热备容量。工作负载保持在纵向扩展架构上运行，以额外的路径延迟换取更高的可用性和资源利用率。

用于部署效率的机柜级架构

在数据中心规模下，效率取决于在固定功率和散热空间内可以部署和运行多少有用的基础设施。在 Maia SoC 架构的基础能效之上，Maia 300 机柜协同设计服务器布局与密度、网络拓扑与交换、功率与散热设计以及先进的遥测技术，与 Maia 200 相比每瓦性能提升高达 2.5 倍。

• 167 kW 内的 96 个加速器
  Maia 300 在一个 167 kW 机柜内集成了 96 个加速器，分布在 24 个四加速器托架上，加速器密度是 Maia 200 的两倍。每个托架包含四个加速器及其主机处理器、内存、存储和散热。消除独立的主机托架释放了机柜空间，使功率和散热资源能够作为一个系统进行管理，增加了每个机柜内部署的推理容量。

• 整合的交换架构
  六个高基数交换 ASIC 集成到三个液冷交换托架中，为全部 96 个加速器提供机柜本地连接，同时最小化交换所占用的空间和功耗。
• 机柜级供电
  双路电源输入、大容量电源架以及 50 V 母线架构可在加速器和交换托盘之间高效分配电力，同时提供运行冗余。集成式机柜自动转换开关即使在单个电源输入因维护而离线时也能保持高可用性。
• 灵活的散热架构
  液冷可消除机柜中超过 80% 的热量负载，这些热量来自加速器、电压调节器和交换 ASIC，而风冷则用于支持内存、存储及其他辅助组件。在具备条件的设施中，Maia 300 可直接连接设施用水；在风冷数据中心环境中，可使用热交换器单元排热。这为系统的大规模部署位置和方式提供了更大的灵活性。
• 与数据中心集成的遥测
  我们融合了部署过程中的经验，以增强可靠性、可用性与可服务性（RAS）、可观测性、可调试性、故障处理与冗余能力，从而在扩大部署规模时提升系统稳健性。机柜级和行级的电力遥测与数据中心运维系统对接，使运行参数能够根据可用电力和散热容量进行管理。这些数据为相关算法提供依据，用于动态分配电力、优化工作负载的调度和部署密度，从而提升利用率和每瓦特所产出的 token 数量。

Maia 300 所带来的提升

Maia 300 是在多代际项目中迈出的下一步，旨在大规模部署高效的 AI 系统。该设计在软件、芯片、物理机柜基础设施、网络和数据中心层面进行了端到端优化，为云规模智能体推理带来性能和效率上的飞跃。

相较于 Maia 200，Maia 300 在其完整的 96 卡加速器配置下，机柜级 token 吞吐能力提升至最多 7 倍，每瓦特性能提升至 2.5 倍以上。它在每瓦特内存带宽和每机柜加速器数量方面均有所增加——每机柜加速器数量翻倍——同时构建于 SDLA（即我们面向软件定义的数据流架构）以及一个跨越内核到数据中心规模的统一编程模型的双层纵向扩展网络之上。这些进展共同使我们能够以更高的效率，向更多人和组织交付更有用的智能。

相较于 Maia 200，Maia 300 的机柜级 token 吞吐能力提升至最多 7 倍，每瓦特性能提升至 2.5 倍以上

未来的机遇不仅仅是构建更多算力，而是让先进的 AI 能力更加普惠、更加经济、更加实用。Maia 300 是迈向这一目标的重要一步。

下个月，我们将在旧金山及线上举办的 Microsoft Ignite 2026 上，期待分享更多关于我们 AI 战略、技术采用趋势以及在前沿转型方面所取得成功的相关信息。

阅读Azure Maia 300 的最新资讯。

详细了解 Azure Maia 300。

详细了解 Azure 从芯片到系统的整体方法。