Meta证明AMD GPU在大规模AI训练方面可与NVIDIA媲美

概述

在人工智能产业的一个重要里程碑中，Meta 发布了研究表明，对于大规模 AI 训练工作负载，AMD GPU 的性能可以与 NVIDIA 持平。这项发现详细记载于提交至 arXiv 并被第 59 届 IEEE/ACM 国际微架构研讨会（MICRO 2026）接受的论文中，挑战了长期以来认为 NVIDIA 的 CUDA 生态会形成不可逾越的性能差距的假设。

题为《为硬件多样性而构建：Meta 面向 AMD GPU 高性能 AI 训练的全链路协同设计》的研究，概述了 Meta 如何成功优化其推荐模型，使其在 AMD Instinct MI350X 上高效运行。通过利用硬件-模型协同设计和先进软件工具的组合，Meta 实现了端到端训练吞吐量的提升，较从 NVIDIA 硬件直接移植的版本最高提升了 1.5 倍。

这一发展标志着 hyperscaler 首次公开报告将 AMD GPU 用于大规模训练的生产化落地。它代表着减少供应商锁定并为主要 AI 开发商降低基础设施成本的关键一步。

打破 NVIDIA 垄断

Meta 当前的基础设施战略依赖于由 NVIDIA GPU、AMD GPU 及其自有专有的 MTIA 加速器组成的异构集群。这种多样性源于降低供应链风险和减少对 NVIDIA 硬件依赖高昂成本的需要。然而，由于数十年嵌在 PyTorch 和 Triton 等框架中的 NVIDIA 特定优化，这种转变历史上一直受阻。

论文解决的核心挑战是性能可移植性。当为 NVIDIA B200 GPU 设计的模型直接移植到 AMD 的 MI350X 时，由于内存架构、计算能力和软件堆栈的差异，它们往往表现不佳。Meta 的方法超越了简单的代码翻译，转而专注于重写模型结构和软件配方，以利用 AMD 硬件的特定优势。

“而非直接从 NVIDIA GPU 移植模型，修订模型结构和软件配方可以充分挖掘加速器特定的优势”，作者在摘要中指出。

Meta 发现的其中一个最显著硬件优势是 MI350X 的 HBM（高带宽内存）容量比 B200 高出 1.6 倍。通过重新设计模型分区策略，Meta 能够充分利用这种额外的内存带宽，这对于处理现代大语言模型和推荐系统中典型的庞大参数规模至关重要。

关键技术贡献

该研究引入了三项已被整合到包括 PyTorch、Triton 和 ROCm 在内的开源生态系统中的可重用原则。这些贡献旨在降低其他希望采用非 NVIDIA 硬件的组织的门槛。

1. 硬件-模型协同设计：这一原则强调，通过将针对 NVIDIA 优化的模型强行应用到 AMD 硬件上并不能实现最佳性能。相反，它需要对模型架构和训练软件进行迭代修订，以与目标加速器的微架构对齐。
2. 分析性能建模：Meta 开发了一种新颖的分析模型，实现了零预热最优内核选择。该工具在生产训练期间自动确定针对不同数据类型和矩阵形状的最佳计算内核，极大地简化了传统上需要广泛手动实验的调优过程。
3. 智能体工作流扩展：基于日益成熟的智能体 AI 工作流，团队扩展了这些系统以处理感知微架构的内核优化和自定义 shim 生成。这种自动化减少了将模型从 CUDA 生态移植到 ROCm 所需的人工工程投入。

这些方法共同使 Meta 能够缩小此前使 AMD GPU 对重型训练工作负载吸引力较低的性能差距。由此产生的优化流水线不仅局限于单一模型，而且被设计为跨不同训练场景可重用。

行业影响与开源承诺

这些成果的发布对 AI 硬件市场产生了深远影响。多年来，NVIDIA 凭借其成熟的软件栈在数据中心 AI 训练中保持了主导地位。Meta 在 AMD 硬件上实现同等性能的成功，为寻求多样化硬件采购的其他科技巨头和科研机构提供了可靠的替代方案。

至关重要的是，Meta 已将其贡献上游提交至开源社区。通过向 PyTorch、Triton 和 ROCm 做出贡献，该公司确保为其自有集群开发的优化可供更广泛的 AI 开发者生态使用。这一策略加速了异构计算的采用，并有助于确立 AMD 作为与 NVIDIA 并列的可信主要训练合作伙伴的地位。

由 Haoyu Zhang 领导、包括 57 位其他 Meta 作者在内的研究团队，强调了这一成就的协作性质。该论文被 MICRO 2026 接收突显了所涉及的技术严谨性，并表明学术界和工业界对硬件多样性的兴趣日益增长。

随着对 AI 算力的需求持续超出供应，能够在 GPU 供应商之间无缝切换将成为一项关键的竞争优势。Meta 的工作表明，通过正确的协同设计策略，硬件敏捷性可以在不牺牲性能的情况下实现。这为未来的基础设施设计确立了先例，重点从构建孤立的 NVIDIA 中心化集群转向管理动态的多供应商集群，使其能够适应市场状况和技术进步。