吴佳俊 IROS 2026 演讲：结构化表征不是答案，是机器人学会推理的脚手架
来源雷峰网查看原文
速览
- 吴佳俊在 IROS 2026 提出用结构化表征构建物理世界智能体的路线。
- 核心难点不是识别物体，而是同一任务在不同初始状态下需要不同动作。
- 结构化表征分两层：可学习的谓词判定，加带前后置条件的原子动作。
- 原子动作由扩散策略执行，符号层只负责把动作串成长程任务。
- DSL 不再手写，改由基础模型从演示、操作记录或语言中提出并验证。
- 路线类比为把 Cursor 式编程智能体搬进物理空间：计划、执行、验证。
- 最终目标是无演示学习：面对没见过的物体也能自己推理出用法。
9 月 27 日 IROS 2026 开幕当天，斯坦福大学计算机科学系助理教授吴佳俊在 RoBoWoMo 研讨会上做了题为《Building Physical Agents via Structured Representations》的受邀报告。他用一个厨房场景开场：学生挤了洗洁精、打开水龙头洗了一半盘子后离开，机器人接手。任务表面是「把盘子洗干净」，但机器人要判断哪个是盘子、脏不脏、有没有洗洁精、水龙头是否开着、盘子下面是否压着脏东西——同一个任务换一个初始状态，答案就完全不同。吴佳俊给出的路线是：一端是视频或语言等原始输入，中间由基础模型发现一组可复用、可重新组合的抽象，另一端是自主学出来的控制动作；这套抽象包括判定属性与空间关系的谓词，以及带前置条件和后置效果的原子动作，每个原子动作配一个扩散策略。他强调这套领域专用语言（DSL）本身也要能学，由基础模型从演示视频、操作记录或语言中提出，再用符号化方式或数据回放去验证。他把这条路线类比为把 Cursor 那样在电脑上干活的编程智能体搬进物理空间：先想出一串计划，再执行，同时有一层验证确保动作被定义对、被执行对。演讲最后把问题推到更远处：如果没有演示、没有遥操作数据，甚至面对一个从没见过的水龙头，机器人还能不能自己想出它可能怎样被使用。
关键事实
- 9 月 27 日 IROS 2026 开幕当天，吴佳俊在 RoBoWoMo 研讨会上发表受邀报告《Building Physical Agents via Structured Representations》。
- 吴佳俊是斯坦福大学计算机科学系助理教授，兼任心理学系助理教授。
- 演讲用厨房洗盘子场景说明：输入上的差别很小（比如盘子上有没有一小团蓝色洗洁精），状态上的差别却是定性的，要做的动作也完全不同。
- 他提出的范式是：一端是视频或语言等原始输入，中间由基础模型发现具备组合性的抽象，另一端是自主发现、自主学出来的控制动作。
- 结构化表征包含两组模块：一组是可判定的谓词（物体脏不脏、物体之间的二维/三维关系），一组是带前置条件和后置效果的原子动作。
- 每个原子动作配一个扩散策略，负责关节出力；感知与控制全部由神经网络完成，符号层只负责组合性。
本站视角
对国内做具身智能和机器人基础模型的团队来说，这场报告的价值不在于又提出一个新模型，而在于它把「机器人为什么学不会」这个问题拆到了可操作的层面。国内大量团队当前的做法是堆遥操作数据、堆演示视频，然后指望端到端策略泛化；吴佳俊指出的恰恰是这条路的软肋——输入上的一小团洗洁精，在状态空间里是定性差别，端到端模型很难从像素里稳定地学到这种差别。他给出的替代方案是把状态判定和动作执行解耦：谓词层用基础模型学，动作层用扩散策略学，中间用一套可验证的符号规格串起来。我们认为这个思路对国内做工业和服务机器人的团队有直接参考价值，尤其是那些场景固定、数据量有限、又需要长程任务组合的落地项目——符号层提供的可验证性，恰好是端到端方案最难向客户解释的部分。 但需要保持清醒的是，这套路线并不新。谓词加原子动作加前置后置条件，本质上是把经典任务规划（PDDL 那一套）用神经网络重新实现了一遍，吴佳俊本人也承认最早这些东西要么人手写、要么直接从 PDDL 照搬。真正的增量在于「DSL 本身也要能学」这一步：如果基础模型真的能从演示中提出合理的谓词和动作规格，并且能被数据验证，那它解决的就是经典规划最致命的瓶颈——规格工程无法规模化。这一步能不能成立，取决于验证环节的可靠性，而原文只说了「可以符号化验证，也可以拿数据验证」，没有给出验证失败率或误判代价。 另一个需要指出的地方是，这场演讲通篇是方法论和愿景，没有实验数字。厨房洗盘子是精心挑选的演示场景，它足够简单，能清楚暴露问题，但也正因为简单，无法说明这套方法在真实杂乱环境中的表现。演讲最后提出的「无演示学习」——面对没见过的水龙头自己推理出用法——目前更像是一个方向而非结果。对读者来说，合理的态度是：把结构化表征当作一个值得跟进的工程范式，而不是已经验证的答案。吴佳俊自己用的词是「脚手架」，这个定位是准确的：脚手架能帮人盖楼，但楼盖成什么样，还得看里面的东西。
背景与影响
吴佳俊过去几年的研究主线是从图像里恢复视觉背后的世界，包括几何、材质、物理属性以及物体之间的关系。这套工作在数字空间智能体（接收指令、与环境交互）火起来之后，被自然延伸到物理世界：数字世界有目录—文件—属性的层级结构，物理世界有场景—物体—属性的对应结构，问题变成能否利用这种结构把智能体从数字空间带进物理空间。演讲指出的关键差异在于：数字世界在相当程度上被语言统一了，机器人领域则是专有场景、专有数据，每台机器人都不一样，这些数据不会出现在训练大模型的海量语料里。这意味着机器人不能简单照搬大模型的做法，需要在后训练、引入结构、接入额外知识之间做选择。他提到最早的一版实现是两年前做的，当时部件比现在粗糙得多，但范式已经清楚；去年讲这一段时讲得比较乱，今年用一个类比重新梳理。需要观察的是，这条路线目前仍以演讲形式呈现，原文未给出具体的 benchmark 分数、数据集规模或实机成功率，落地效果尚待论文与实验数据支撑。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。