AI资讯

复旦贾萧松:VLA、WAM 新架构层出不穷,但真正的瓶颈不在模型架构

来源雷峰网查看原文

速览

  • 轨迹预测受上游信息丢失与下游利用不足双重限制,单模块做再好也难改善系统表现
  • 模块化系统的两大问题是模块间信息损失与各模块优化目标不一致
  • 端到端的价值在于让感知、预测、决策围绕同一最终目标共同优化
  • 端到端不等于抛弃中间任务,中间任务的价值在于提供监督信号而非可解释性
  • 自动驾驶监督信号稀疏,大量图像点云输入只对应几十步轨迹
  • 贾萧松从自动驾驶转向灵巧手,认为自动驾驶的问题正在具身智能领域重现
  • 他承认模仿学习无法解决所有问题,生成逼真视频也不等于掌握世界规律

雷峰网左林右狸频道与复旦大学可信具身智能研究院助理教授贾萧松对话。贾萧松 2021 年底在上海交通大学直博期间,被博导严骏驰建议放弃自动驾驶轨迹预测、转向端到端路线,此后在上海人工智能实验室 OpenDriveLab 创始人李弘扬指导下研究端到端自动驾驶,先后经历端到端、强化学习、世界模型、闭环评测与交互式生成仿真几个阶段。他参与的 Think2Drive 在 ECCV 发表,让模型在低维潜在空间模拟交互,在一张 NVIDIA A6000 GPU 上约三天训练出能完成 CARLA Leaderboard 2.0 复杂驾驶任务的策略;TCP 模型融合轨迹预测与控制两个分支,发表于 NeurIPS 2022。他如今转向灵巧手与 Ego 数据研究,并在 RSS 2026 发表 GuidedVLA。访谈的核心判断是:VLA、WAM 等新架构层出不穷,但真正的瓶颈不在模型架构,而在信息在模块间的损失、优化目标不一致、监督信号稀疏这些更底层的问题。

关键事实

  • 2021 年年底,严骏驰建议刚直博上海交大的贾萧松放弃轨迹预测、转向端到端自动驾驶,理由是预测夹在感知与决策之间、上下游都受限制
  • 2021 年时全球成体系研究端到端的只有 Wayve、Waabi 和 Andreas Geiger 团队
  • Think2Drive 在 ECCV 发表,在一张 NVIDIA A6000 GPU 上用约三天训练出能完成 CARLA Leaderboard 2.0 复杂驾驶任务的策略
  • TCP 模型融合轨迹预测与车辆控制两个分支,发表于 NeurIPS 2022,融合后性能提升明显
  • 贾萧松在 RSS 2026 发表 GuidedVLA,从具身角度讨论中间任务作为监督信号的价值
  • 贾萧松现任复旦大学可信具身智能研究院助理教授,研究灵巧手与 Ego 数据

本站视角

这篇访谈对国内做具身智能和自动驾驶的团队有直接参考价值。当前 VLA、WAM 等新架构层出不穷,很多团队把精力押在模型结构创新上,但贾萧松从亲历者的角度指出,真正的瓶颈在信息在模块间的损失、优化目标不一致、监督信号稀疏这些系统层面问题。这对两类人尤其重要:一是正在做端到端自动驾驶量产的团队,二是刚转向具身智能、准备复刻自动驾驶技术路线的创业者。我们的判断是,这类来自一线研究者的反思比架构论文更有信息量,因为它指出了哪些方向可能是无效内卷。需要指出的是,访谈中关于中间任务价值的结论部分引用了特斯拉的观察作为佐证,但并未给出具体数据或实验对比,GuidedVLA 的实际效果也仅有论文发表这一事实,缺乏可量化的 benchmark 结果,读者不宜将其当作已验证的定论。另外,这是一篇人物访谈,叙述带有明显的成长故事色彩,技术判断散落在个人经历中,需要读者自行剥离。

背景与影响

贾萧松的研究路径恰好穿过自动驾驶过去几年几次重要的技术路线变化:从传统模块化到端到端,从模仿学习到强化学习,再到世界模型。这些转向并非由他一人推动,也不是行业在同一时间完成的线性切换,但他的亲历提供了一个观察技术演进的视角——每一次转向发生时,旧方法究竟遇到了什么问题,又为什么需要下一种解法。如今他在复旦大学可信具身智能研究院研究灵巧手与 Ego 数据,而自动驾驶过去几年遇到的问题,正在具身智能领域以不同形式重新出现。这意味着,当前具身智能领域围绕 VLA、WAM 等新架构的密集讨论,可能同样高估了架构本身的作用,而低估了数据、监督信号与系统级目标一致性这些更基础的问题。

本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。

编辑与审校

AI大海啸编辑部

负责选题、审校与「本站视角」的判断。

编辑流程与 AI 使用说明