Meta 工程博客：把闲置推理算力变成广告推荐增益，RMA 与 SBM 两个弹性杠杆如何运作
来源Meta Engineering查看原文
速览
- 推理集群普遍存在「全局紧张、局部闲置」的算力悖论，Meta 把闲置算力聚合成共享池
- RMA 扩大排序候选量，需 CPU 与加速器双富余；SBM 提升强模型覆盖，只吃加速器富余
- 两个杠杆资源需求互补，合起来能消费比单一杠杆更广的机会性算力
- SBM 用物理隔离保护基线，RMA 用逻辑预算保护基线，都不让可选工作挤占基线容量
- RMA 靠尾部延迟 PID 闭环调节候选量，SBM 靠价值感知路由与探索利用机制分配请求
- 算力被突然回收时，服务端与客户端毫秒级价值感知降载兜住分钟级控制环的空窗
- Meta 下一步要扩展弹性范围、提升模型可移植性、做自动化的算力分配优化
Meta 工程团队发布博客，介绍其广告推荐系统如何利用推理集群中的「机会性闲置算力」（opportunistic capacity）来提升推荐质量，而不影响基线服务的延迟与可靠性。文章指出推理集群存在一个普遍矛盾：整体算力紧张，但局部仍有可观闲置，成因包括峰值预留与需求波动错配、模型开发与算力交付节奏错配、区域资源配比错配、加速器型号不兼容四类。Meta 把这些分散的闲置算力聚合成共享的机会性算力池，并用两个弹性杠杆来消费它：Rank More Ads（RMA）在算力富余时扩大排序阶段评估的候选广告数量，需要 CPU 与加速器同时富余；Serve Better Models（SBM）则调整被路由到更强模型的请求占比，只消耗加速器富余。系统通过物理与逻辑隔离、两套反馈闭环以及服务端与客户端的价值感知降载，保证机会性算力被突然回收时基线流量不受影响。Meta 表示后续将扩展 RMA 与 SBM 的工作范围、开发预计算弹性等新杠杆、提升模型可移植性与跨区域推理能力，并构建基于优化的自动算力分配系统。
关键事实
- Meta 构建了一套系统，把推理集群中分散的闲置算力聚合为共享的机会性算力池，用于提升广告推荐效果，无需额外采购算力
- 文章归纳出闲置算力的四类成因：峰值预留与需求波动错配、模型开发与算力交付节奏错配、区域资源配比错配、加速器型号错配
- 两个弹性杠杆分别是 Rank More Ads（RMA）和 Serve Better Models（SBM）
- RMA 调整排序阶段评估的候选广告数量，通常同时需要 CPU 和加速器富余；SBM 调整路由到更强模型的请求占比，只消耗加速器富余
- SBM 的模型路由组件使用请求价值信号，优先把更可能受益的请求分配给更强模型
- SBM 采用物理隔离：基线与更强模型使用独立路由目标，专用副本服务基线请求，机会性算力副本服务被选中的请求
本站视角
对国内做推荐系统和大模型推理的团队来说，这篇文章真正值得看的不是「Meta 又优化了广告」，而是它把「闲置算力怎么用」这件事拆成了可工程化的几个部件。具体影响三类人：一是自建推理集群的公司，尤其是同时跑推荐和生成式模型的团队，RMA 与 SBM 的资源需求差异（CPU+加速器 vs 纯加速器）提示了一个常被忽略的事实——闲置算力不是同质的，按资源组合分类才能提高利用率；二是做推理调度和算力平台的团队，文中「中心控制器分钟级、本地降载毫秒级」的两级设计，是针对可抢占资源的标准解法，值得对照自己的调度器检查是否存在控制环空窗；三是用云上抢占式实例或弹性算力跑训练/推理的团队，Meta 强调的「可选工作不得挤占基线容量」是一条硬约束，很多团队在成本压力下容易把两者混在一起，结果延迟抖动。我们的判断是：这套系统属于实打实的工程进步，而非营销包装，因为它解决的是真实存在的资源错配，且设计上对故障场景（算力突然回收）有明确处理。但需要指出两点可疑之处：第一，全文没有任何量化结果，既没有算力利用率提升数字，也没有广告效果提升数字，一篇工程博客在讲「驱动显著广告主价值」时不给数据，读者应当保留判断；第二，文章来自 Meta 工程博客，本质上是雇主品牌与技术招聘内容，叙述上倾向于把系统描述得完备，实际运行中的失败案例与调参代价不会出现在这里。对读者的实际建议是：借鉴其隔离与降载的设计模式，但不要指望照搬能复现同等收益，因为收益高度依赖集群规模和流量结构。
背景与影响
这篇博客属于 Meta 工程团队对内部基础设施实践的技术披露，本身不涉及新产品发布或对外服务变更。它反映的是大模型推理规模化之后一个越来越普遍的问题：算力供给与需求在时间、地域、硬件型号上难以精确对齐，导致一边排队一边闲置。Meta 的做法是把这类闲置算力当作可抢占、无长期保证的资源，只承载「可选工作」——多排一些候选广告、多跑一些强模型请求——而不是承载基线流量。对行业而言，这套思路的价值在于它给出了一种不增加采购就能提升模型效果的路径，且明确区分了「可选工作」与「基线工作」的边界。需要观察的是，Meta 没有在文中给出任何量化收益数据，例如广告相关性提升幅度、算力利用率提升比例或广告主价值的具体衡量方式，因此这套系统实际带来的增益规模目前无法从公开信息判断。此外，文章描述的机制高度依赖 Meta 自身的集群规模与广告推荐架构，中小团队能否复用其中思路，取决于其工作负载是否具备文中列出的三个结构性属性：高弹性、规模化下质量持续提升、跨服务依赖有限。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
