Yandex 发布 Sona：单一生成式推荐模型替代整条级联
来源MarkTechPost查看原文
速览
- Sona 用单一生成式模型替代 15+ 候选生成器、预排序和排序级联。
- 线上 A/B 测试 7 天，活跃用户 +4.53%，收听时长 +6.30%，点赞 +11.42%。
- 不使用人工特征，仅依赖日志事件字段和学习到的 Semantic ID。
- 排序模块由 0.6B 冻结 Teacher Ranker 蒸馏训练，服务时移除教师。
- 编码器压缩 8,192 事件历史，约一半推理成本保留大部分质量。
- 训练在线更新，新权重每 10 分钟上线，端到端延迟中位数 45 分钟。
- 与 OneRec、HSTU 相比，Sona 强调全级联替换、无人工特征和蒸馏排序。
- 未公开代码或权重，未在全量流量部署。
Yandex 在 arXiv 发布 Sona 技术报告，提出用单个生成式模型同时完成候选生成与排序，替代传统推荐系统中由多个候选生成器、预排序和重排序组成的级联结构。该模型在 Yandex 智能音箱上进行了为期 7 天的线上 A/B 测试，替换了 15 个以上候选生成器、预排序阶段和排序阶段，仅保留一个在线服务的 transformer。测试覆盖每分组 15% 的随机用户，主要指标活跃用户提升 4.53%，总收听时长提升 6.30%，点赞提升 11.42%，重复播放指令提升 17.99%，深度参与用户提升 7.37%。Sona 不使用人工特征，仅依赖日志事件字段和学习到的 Semantic ID，排序模块由一个 0.6B 参数的冻结 Teacher Ranker 蒸馏训练，服务时该教师模型被移除。
关键事实
- Sona 在 7 天线上 A/B 测试中替换了 15 个以上候选生成器、预排序和排序阶段，仅用一个在线服务的 transformer。
- A/B 测试覆盖每分组 15% 的随机用户，活跃用户提升 4.53%，总收听时长提升 6.30%，点赞提升 11.42%，重复播放指令提升 17.99%，深度参与用户提升 7.37%。
- 在活跃用户指标上，Sona 的提升幅度是 Argus 此前在该场景所带来 +1.93% 增量的 2.35 倍。
- Sona 不使用人工特征，输入仅为日志事件字段（曲目 ID、艺人 ID、时长、点赞、播放时间、场景标记）和学习到的 Semantic ID。
- 每首曲目被表示为 3 个离散码的元组，由冻结的多模态 LLM 读取前 90 秒 mel 频谱图及标题、艺人、标签，再经 4 层精炼 transformer 和残差 K-means 量化，生成 3 个各含 32,000 条目的码本。
- 该语义分词方案优于 CLMR 音频基线，Recall@1000 从 0.8111 提升至 0.8524。
本站视角
对国内做推荐系统的团队来说，Sona 的价值不在于指标本身，而在于它给出了一条可复制的工程路径：把候选生成和排序合并到一个共享用户表示的生成式模型里，并且完全不依赖人工特征。这意味着特征工程团队的职责可能被重新定义——过去靠数百个特征维持的排序优势，现在被一个 0.6B 教师模型蒸馏出的排序模块替代。受影响最直接的是音乐、视频、电商等有大规模行为日志的平台，尤其是那些级联阶段多、维护成本高的团队。我们认为这是实质进步而非营销包装，理由是它给出了完整的架构细节、训练方法（Rollout Distillation）、在线更新链路和 7 天 A/B 数据，而不是只报一个离线指标。但需要观察的是：Sona 只在智能音箱这一纯推荐场景验证，且只覆盖 15% 随机用户，未在全量流量部署，也未公开代码或权重，外部无法复现。另外，A/B 提升是叠加在此前部署保留的改进之上的，4.53% 的活跃用户提升能否在更复杂的交互式推荐场景（如首页信息流）中保持，目前没有证据。与 OneRec 相比，Sona 走的是全监督蒸馏路线而非强化学习，这降低了训练复杂度，但也可能限制排序信号的上限。对中小团队而言，8,192 事件历史、0.6B 教师和 Triton 在线训练这套组合的算力门槛不低，短期内更现实的借鉴对象是它的历史压缩策略和 Semantic ID 分词方案，而非整体替换级联。
背景与影响
生产环境推荐系统长期采用级联架构：候选生成器先筛选物品，预排序阶段缩小范围，重排序阶段用数百个人工特征做最终打分。这种设计将一次决策拆给多个分别训练的模型，每个阶段优化各自目标，排序阶段只能看到上游放行的物品。Yandex 此前在 Yandex Music 场景的推荐栈依赖数百个特征，包括其早期推荐 transformer Argus 的信号。Sona 试图把候选生成和排序统一到一个共享用户表示上：编码器每次请求读取一次用户历史，解码器生成候选，排序模块基于同一编码器状态打分。在智能音箱场景中，播放可以在用户未先选择艺人、流派或情绪的情况下开始，研究团队称之为纯推荐设置。这一方向并非 Yandex 首创，快手 OneRec 已在线服务单一编码器-解码器模型，Meta 的 HSTU 在 2024 年将推荐重构为用户行为序列转导。Sona 的差异在于同时做到全级联替换、无人工特征和蒸馏排序，并给出线上验证。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
