Meta 公布广告排序多阶段序列模型，Instagram 转化率提升 6%
来源Meta Engineering查看原文
速览
- Meta 用离线/在线两阶段解耦，让序列模型扩容不再等比推高线上服务成本。
- 稠密 tokenization 加 target-aware attention，减少对人工稀疏特征工程的依赖。
- 真实流量上出现 LLM 式对数线性 scaling law，Meta 称尚未看到饱和迹象。
- 序列多样性比同质性更有效，混合行为类型优于单一高信号行为。
- 语义特征在冷启动场景（新广告、新广告主）中补充协同过滤信号。
- 该架构是 Meta 生成式广告推荐模型 GEM 的核心组件。
- Meta 计划借鉴 MoE、跨用户算力共享、先进注意力等 LLM 技术继续扩展。
Meta Engineering 发布博客，介绍其广告排序系统在序列建模上的两项架构突破：一是多阶段序列模型，把重量级的离线用户建模与轻量级的在线排序解耦；二是基于稠密 tokenization 与 target-aware attention 的学习方法，让模型直接从数据中学习特征交互，减少对手工特征工程的依赖。Meta 称，结合更广泛的模型创新，这些改进带来了 Instagram 转化率 6%、Facebook 转化率 3%、Facebook 广告点击 3.5% 的累计提升。该统一序列建模平台是 Meta 生成式广告推荐模型 GEM 的核心组件，相关论文为《LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation》。
关键事实
- Meta 称多阶段序列模型等改进带来 Instagram 转化率 6%、Facebook 转化率 3%、Facebook 广告点击 3.5% 的累计提升。
- 多阶段序列模型将系统拆为离线用户模型与在线排序模型两阶段，离线模型异步处理长用户历史并缓存 embedding，在线模型结合实时广告候选信号完成排序。
- 离线用户模型可扩展到数千的序列长度，并严格将用户特征与广告、上下文特征分离，保证用户 embedding 不依赖特定广告候选。
- 稠密 tokenization 把稀疏特征与序列行为数据整合进单一稠密词表，让注意力机制自行发现特征交互，而非依赖人工设计的稀疏交叉特征。
- target-aware 多头注意力让每一层将用户历史行为与当前打分的具体广告进行加权，逐层捕捉更高阶交互并压缩长序列。
- Meta 称在真实广告流量上观察到类似 LLM 的可预测 scaling law，性能随算力呈对数线性关系。
本站视角
对国内做推荐与广告系统的团队来说，这篇博客最值得关注的不是那三个提升百分比，而是 Meta 明确把「LLM 式 scaling law」搬到了广告排序场景。过去推荐系统的扩容往往卡在线上延迟预算上：模型越深、序列越长，服务成本越高，于是很多团队被迫在离线特征和在线模型之间做有损的折中。Meta 的两阶段解耦本质上是把「算力花在哪里」这件事拆开——离线模型异步跑、缓存 embedding，可以不受延迟约束地扩；在线模型只负责实时融合候选信号，保持轻量。这意味着推荐系统的扩容逻辑可能从「堆在线模型」转向「堆离线表示」，对国内做大规模推荐的中小团队而言，这是一条值得验证的工程路径，但前提是你要有足够的离线算力和缓存基础设施。 第二个值得跟进的点是稠密 tokenization 与 target-aware attention。它试图用注意力机制自动学习稀疏特征的交叉，替代大量人工特征工程。如果这条路在中文场景也成立，受影响最大的是那些特征工程团队庞大、但模型迭代速度受限的公司——人力结构可能比模型结构更早发生变化。Meta 特别提到语义特征在冷启动（新广告、新广告主）上的价值，这对国内广告平台的中小广告主冷启动问题有直接参考意义。 需要保持怀疑的地方有三点。其一，6%、3%、3.5% 这些数字是 Meta 自己口径下的「累计提升」，且明确说是「结合更广泛的模型创新」的结果，无法拆分出多阶段序列模型单独的贡献，因此不能简单理解为单一架构改动的收益。其二，博客只给出结论性描述，没有公开完整的实验设置与对照，scaling law 的曲线细节需要看论文《LLaTTE》才能判断其严谨程度。其三，Meta 称 scaling law「没有饱和迹象」，同时列出 MoE、跨用户算力共享等后续方向，这既是技术判断，也带有为持续投入算力做论证的成分。我们认为，这篇博客的工程思路（离线/在线解耦、缓存用户表示）比它的具体数字更值得国内团队借鉴，而 scaling law 是否真如 LLM 那样平滑可预测，仍需第三方复现和更多场景验证。
背景与影响
Meta 在 2024 年曾发布关于广告推荐序列学习的文章，当时展示了建模用户行为的顺序与时间（而非静态、人工设计的稀疏特征）能产生更丰富的用户兴趣与广告偏好表示。此次博客是在此基础上的进一步推进，目标是把序列学习的成果从基础创新扩展为具备可预测 scaling law 的生产平台。广告推荐系统需要在毫秒级内完成数千条广告的检索与排序，每秒处理数百万候选，因此此前一些序列模型采用混合配置：一个模型处理用户事件序列，另一个模型处理稀疏特征交互。Meta 认为这种混合方案存在知识传递有损、持续依赖人工特征工程、排序与序列模型组件相互干扰导致扩展天花板等权衡，当序列长度和 transformer 规模同时扩大时会成为瓶颈。Meta 的解法是把序列模型拆成上游离线用户建模与下游在线排序两个互补阶段，并配合稠密 tokenization 与 target-aware attention。Meta 表示，该架构作为 GEM 的核心部分，设计上具备通用性，同一多阶段骨干与扩展特性可以以最小适配和开销扩展到任意广告排序任务。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
