Meta 发布 MTIA 300：首款内置 NIC 的训练芯片
来源Meta Engineering查看原文
速览
- MTIA 300 把网络接口做进芯片封装，绕开 PCIe 与主机中转瓶颈
- 12 个 800 Gbps RDMA NIC 同时承担 scale-up 与 scale-out，可软件重配比例
- 16 个专用消息引擎独立处理通信，不占用计算网格资源
- 近存计算模块提供超 2.8 TB/s 归约吞吐，支撑线速 AllReduce
- 通信与计算并发时吞吐损失不到 0.5%，GPU 方案可超 20%
- HCCL 把集合通信编译成子图交由硬件自主执行，CPU 不参与
- 1500 亿参数推荐模型上通信时间比 GPU 集群快 3.9 倍
- Meta 称该架构原则将用于下一代 AI 芯片，并适配推理与 Agent 场景
Meta 在工程博客上公布了 MTIA 300，这是其自研 AI 芯片家族中第一款专为推荐与排序模型训练优化的加速器，也是 Meta 首款把网络接口直接集成进芯片封装的训练芯片。MTIA 300 在芯片封装内放置两个网络 chiplet，每个包含 6 个定制 800 Gbps RDMA NIC，共 12 个基于以太网的 NIC，提供 1.2 TB/s 的总 I/O 带宽，且不经过 PCIe 总线。这 12 个 NIC 同时承担机架内 scale-up 通信（16 节点机架内最高 1 TB/s）和跨机架 scale-out 通信（200 GB/s），可通过重配置网络而非更换硬件来调整两者比例。芯片在 12×6 的计算处理单元（PE）网格之外，另设 16 个专用消息引擎（ME）独立处理通信，每个 ME 含一个 RISC-V 核、一个 NIC 接口和一个近存计算（NMC）模块，NMC 以 128 字节/周期做归约，整体归约吞吐超过 2.8 TB/s，是 I/O 带宽的两倍以上。Meta 称，大 GEMM 与集合通信并发执行时，MTIA 300 的计算吞吐下降不到 0.5%，而传统 GPU 可能超过 20%。配套的通信库 HCCL 与芯片协同设计，把每个集合通信编译成带显式依赖的工作队列条目子图，交由 ME 自主执行，指令拷入 HBM 后 CPU 不再参与。生产环境中，HCCL 在单机架内实现最高 940 GB/s 通信带宽；在一个跨 40 个加速器运行的 1500 亿参数生产推荐模型上，MTIA 300 的总通信时间比同等 GPU 集群快 3.9 倍。芯片配备 216 GB HBM3E，CPU 与加速器比例为 1:1。
关键事实
- MTIA 300 是 Meta 首款专为推荐与排序模型训练优化的自研芯片，也是其首款内置 NIC 的训练芯片
- 芯片封装内含两个网络 chiplet，每个含 6 个定制 800 Gbps RDMA NIC，共 12 个以太网 NIC，总 I/O 带宽 1.2 TB/s，不经过 PCIe 总线
- 同一组 12 个 NIC 同时支持机架内 scale-up（16 节点机架内最高 1 TB/s）与跨机架 scale-out（200 GB/s）
- 芯片含 12×6 的 PE 计算网格和 16 个专用消息引擎（ME），每个 ME 含 RISC-V 核、NIC 接口和近存计算（NMC）模块
- NMC 以 128 字节/周期执行归约，整体归约吞吐超过 2.8 TB/s，超过 I/O 带宽的两倍
- 大 GEMM 与集合通信并发时，MTIA 300 计算吞吐下降不到 0.5%，传统 GPU 可超过 20%
本站视角
这件事对国内做推荐系统和大规模分布式训练的团队最有参考价值。国内头部内容平台（短视频、电商、社交）的推荐模型规模与 Meta 处于同一量级，长期依赖 GPU + NCCL 的方案，通信开销在总训练时间里占比很高，Meta 给出的「通信与计算并发损失不到 0.5%」对比「GPU 超过 20%」是一个值得认真对待的量化差距。对自研芯片的团队来说，MTIA 300 提供了一个明确的设计范式：不要在通用计算核上跑通信，而是把 NIC 放进封装、把归约下沉到近存、把调度交给专用小核，并且通信库必须与硬件同步设计而不是事后适配。对使用云上 GPU 的中小团队，短期影响有限，因为 MTIA 300 是 Meta 内部芯片，不外售，但它会强化一个趋势：推荐模型训练的最优硬件形态可能与 LLM 训练不同，通用 GPU 未必是长期答案。需要指出的是，本文所有性能数字均来自 Meta 自己的工程博客与自家论文，没有第三方复现或独立基准，3.9 倍、0.5%、940 GB/s 这些数字应视为厂商自报数据；对比基线「同等 GPU 集群」的具体型号、规模、软件版本也未披露，因此横向比较的公平性无法验证。另外，MTIA 300 只针对推荐与排序模型训练优化，Meta 自己也承认其架构原则能否迁移到 LLM 训练尚未给出证据，把它读成「Meta 已具备替代 GPU 的训练芯片」是过度解读。真正值得观察的是两点：HCCL 与 PyTorch c10d、torchcomms、torch.compile 的集成是否会在 Meta 外部可用，以及这套「网络一等公民」的思路会不会被其他自研芯片厂商跟进。
背景与影响
推荐模型与 LLM 的基础设施瓶颈并不相同。LLM 训练吃的是浮点算力，而推荐模型的 embedding table 可以占模型参数的 99% 以上，必须用混合并行把表切到数百个加速器上，由此产生大量 AllReduce、AllToAll、AllGather 集合通信。在 GPU 上，这些通信操作以 GPU kernel 形式执行，与训练计算争抢同一批流多处理器，导致昂贵硬件在通信期间闲置。Meta 的思路是把通信从计算资源里彻底剥离：NIC 进封装、归约下沉到近存计算、通信调度交给专用 ME，并用与硬件同步设计的 HCCL 替代通用通信库。这一路线与 NVIDIA 靠 NVLink、NVSwitch 和 NCCL 在通用 GPU 上做通信优化的方向不同，属于针对特定负载的专用化设计。Meta 同时表示，随着推理向 reasoning、agentic 和长上下文演进，消息会变得更小、更频繁、更延迟敏感，把网络当作一等系统约束的架构可能更适合这类负载，MTIA 300 与 HCCL 中确立的模式将成为 Meta 下一代 AI 芯片的基础。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
