上个月我在模拟项目X里用一条六轴机械臂做“桌面杂乱物体顺序分拣”。前端跑的是一套VLA方案指令理解、物体识别都挺顺结果一碰到训练集里没见过的异形件机械臂就开始在一个动作上反复试探最后把旁边的杯子带倒了。同期A同学在同一个任务上换了一种以世界模型为核心的WAM方案指令理解明显没有VLA那么“聪明”但面对没见过的物体却表现得相当稳。这件事让我开始认真琢磨那句越来越流行的判断WAMs是不是真的比VLAs更擅长泛化这段时间我把两条路线从原理、数据、工程到评测维度都过了一遍也翻了不少公开对比和内部实验报告。结论先说如果“泛化”指的是“没见过的物理条件和长时任务”WAMs确实有明显优势但如果指的是“没听过的指令和没见过的物体语义”VLAs仍然稳占上风。这篇文章把两边掰开揉碎讲清楚给想选型、想押注技术路线的人一个可参考的坐标系。1. 两条路线到底在争什么先给一个能落地的定义1.1 VLA把操作问题改写成“看图听懂话猜动作”VLA的全称是Vision-Language-Action Model视觉-语言-动作模型。它的核心结构并不复杂一个视觉编码器负责读相机图像一个语言模型负责理解自然语言指令最后的动作头把前两者融合出的特征映射成机械臂的动作输出可能是末端位姿、关节增量也可能是一段轨迹。我习惯把它理解成一个“看图说话”问题的变体。普通视觉语言模型回答的是“画面里有什么”VLA回答的是“看到这个画面并且听到这个指令时手应该往哪动”。训练数据必须是“图像-指令-动作”三元组来源是真机遥操作或仿真平台采集的专家轨迹。为了让模型具备常识和语言组合能力一般会先用海量互联网图文数据把视觉语言底座预训练好再用机器人轨迹数据做微调。这种路线的最大红利来自语言模型本身。模型背过“杯子是容器”“水是液体”“拿起来会洒”这类常识所以在面对新指令时它能靠语义推理先猜一个合理的动作方向不需要每个动作都见过。这也是VLA令人惊艳的地方。1.2 WAM先理解世界会怎么变再决定自己怎么做WAM这里指的不是某一篇论文里的专有名词而是一整类“以世界模型为底座、再生成动作”的方法。它的基本思路是先让模型学会环境的状态变化规律也就是给定当前状态和一个候选动作模型能预测下一时刻世界会变成什么样然后在这个动态模型的基础上再去规划或生成动作。VLA直接学“状态到动作”的映射WAM学的是“状态到下一状态”的转移动作只是附带解出来的东西。这么做有一个很实际的好处训练WAM的动态模型时并不一定需要动作标签。你给模型看大量视频让它自己观察“物体怎么移动、怎么倾倒、怎么被推着走”它就能逐步建立对物理动态的统计理解。动作标签只在最后阶段用来把“预测出的状态变化”和“造成变化的动作”绑定在一起。WAM阵营的核心信念是真正的泛化来自对世界动态的理解而不是对动作映射的记忆。机器人见得多了重点不是“做得多”而是“世界变化看得多”。这个信念听起来很合理但实现起来比VLA要绕很多。1.3 为何“泛化”成了这两条路线的胜负手两条路线在公开场合吵起来焦点几乎都落在泛化上。VLA派会说我们已经能在几百种任务上做到零样本或少样本执行新指令新物体都能听懂看懂你们行吗WAM派会说你们的成功是统计上的成功换一个重物、换一个摩擦系数、换一条没见过的装配路径立刻就露馅我们的动态模型才是真正在理解物理。两边说的其实都是事实只是说的不是同一个“泛化”。VLA的泛化强在语义侧和视觉侧WAM的泛化强在物理侧和时域侧。把这两个维度混在一句话说“谁更强”注定吵不出结果。我建议把泛化拆成至少四个维度来看后面我会专门展开。2. 技术实现上的四个关键差异2.1 架构拓扑单条前向链路 vs 动态预测与动作生成的两段式VLA是典型的单模型端到端。图像和语言进去动作出来中间没有强制经过任何“世界状态”的表征。这种架构的好处是梯度路径短训练直接推理也快坏处是模型内部没有自校验机制一旦感知或语义理解出错动作就直接歪了。WAM通常分成两个模块动态预测模块和动作生成模块。动态预测模块负责建模状态转移动作生成模块在给定当前状态、目标和未来预测结果的情况下反解动作。两段式结构天然多了一层约束如果动作生成模块给出了一个会导致状态预测明显不合理的动作动态预测模块会在内部“报警”相当于多了一层隐式自校验。这里有个很容易被忽视的工程点WAM的两个模块可以分开训练、分开更新。比如动态模型可以持续吸收无标签视频更新动作生成模块只在新增任务数据时微调。这种松耦合在长期部署里价值很高因为它意味着你不需要每次加任务都重训整个系统。2.2 训练数据带标签的轨迹 vs 可以被被动视频喂饱的状态流VLA最烧钱的是带动作标签的轨迹数据。想覆盖足够多的指令、物体、场景业界通常需要几十万到上百万条demo。这个采集成本非常高真机采集中人力和时间都是硬约束所以很多团队选择仿真合成数据。但仿真到真机的domain gap又是新的坑经常出现“仿真满分、真机归零”的情况。WAM的动态模型训练不吃动作标签。普通监控视频、日常人类操作视频、无标注的机械臂探索录像都可以拿来预测“下一帧会变成什么样”。数据规模可以比VLA高出一个量级数据来源也宽泛得多。代价是动态模型本身的训练稳定性很难保证尤其是在接触性操作场景里物体和物体的碰撞瞬间会让状态预测变得非常困难。如果只看“获取喂给模型的数据”这一步WAM的边际成本明显更低。但要把这些视频数据真正转换成可用的动态先验需要投入大量精力处理分布杂乱、视角多样、无交互边界等麻烦问题。2.3 动作生成机制在动作空间里搜索 vs 在状态空间里想象VLA的动作输出主要有两种实现路线一种是把动作离散化成token像生成语言一样逐点生成另一种是直接回归连续值或者用流匹配、扩散模型在动作空间里采样。不管哪种VLA都是在动作空间里寻找一个与当前输入匹配的输出。WAM不一样它先在状态空间里“想象”一段未来。给定当前状态和目标动态模型推演几帧之后世界会变成什么样然后动作生成模块从这段想象轨迹里反推出动作。状态空间比动作空间更适合施加物理约束比如物体不能穿墙、不能瞬移、不能违反重力。这也是WAM在分布外物理条件下更稳的原因之一。“在状态空间里想象”还有一个副产品模型可以显式地对未来做多步规划而不是只盯着当前帧做反应。这正是长时任务里VLA容易吃亏的地方。VLA每一步都只基于当前观测预测下一步误差会一路累积WAM则可以在内部先跑几遍模拟挑一条状态演化更合理的路径再出手。2.4 语言和常识的注入方式VLA把语言当成常驻输入整个模型从头到尾都被语言信息调制所以语义理解是刻在骨子里的。WAM则麻烦一些很多经典世界模型根本没有语言入口它只建模视觉状态动态。要让WAM听懂指令要么额外接一个语言条件模块要么让语言只在任务分解层起作用底层动态预测完全跟语言解耦。这个差异直接决定了两种路线在“新指令组合”上的表现。VLA背靠大语言模型的组合能力遇到没见过的指令表述也能猜个八九不离十。WAM如果语言入口设计得不好遇到一条没见过但语义逻辑明确的指令照样会发懵。想拿WAM做通用机器人语言接口这关绕不过去。下面用一个表格把这四项差异压缩一下对比维度VLA视觉-语言-动作模型WAM世界-动作模型架构拓扑单模型端到端感知-语言-动作一条链路动态预测模块 动作生成模块两段式数据需求大量带动作标签的专家轨迹动态模型可用无标签视频动作绑定数据量小中间表征动作token或连续动作值下一时刻的状态表征/未来帧动作生成在动作空间搜索、回归或采样在状态空间想象未来再解算动作语言入口常驻输入语义能力强通常需要额外接语言条件模块自校验能力弱黑箱直出强状态预测可做内部合理性检查推理延迟单次前向快需要想象展开延迟随步数增长主要风险物理泛化差、误差累积世界模型预测不准时全部下游被带偏3. 泛化能力必须拆成四个维度来比3.1 语义泛化新指令组合VLA明显领先拿训练时见过的“抓住杯子”和“放到盒子里”来组合出“用杯子把盒子里的东西舀出来”这类新指令VLA几乎不需要额外数据就能听懂。因为语言模型本身具备组合泛化能力指令里每个词的含义它都已经掌握了新的组合只是把已有概念作了一次新排列。纯WAM如果没接语言面对这种指令会直接失去输入信号。即使接了语言条件模块也容易出现“听懂了语义但不知道该在状态预测里怎么体现”的尴尬局面。句子说的是“舀”动态模型却只预测了“杯子平移”的状态变化动作自然就错了。所以如果你的业务场景里指令表达千变万化用户会时不时冒出训练集里完全没出现过的话VLA的语义泛化优势是实打实的。这个维度上WAM目前没有太多还手之力。3.2 视觉泛化新物体、新背景两者各有千秋VLA有互联网规模的视觉语言预训练打底对新物体的识别和命名能力强“知道这个东西是什么”基本不成问题。但问题在于从“知道是什么”到“知道怎么操作”之间还有一大段距离。一个异形件的抓取点、施力方向、夹持深度往往没法靠语义推理推出来必须靠动作层面的统计经验。WAM的视觉泛化逻辑不同。它不看物体叫什么名字只看物体“怎么动”。如果模型在训练阶段见过大量“圆柱体在斜面上滚动”“方形物体被推着滑行”这类动态模式那么遇到一个全新的长条异形件时即使它叫不出名字也能依据物体几何和受力特性给出合理的状态预测。我在模拟项目X里体会很深VLA面对训练集外的物体先是在语义层“认识”它然后在动作层“不认识”它经常出现识别成功但操作失败的割裂表现WAM跳过语义命名直接预测动态行为反而更稳。但如果任务本身特别依赖颜色、类别等语义属性比如“选红色方块而不是蓝色方块”WAM就容易被VLA甩开。3.3 动力学泛化没见过的物理条件WAM优势明显桌面突然倾斜、物体密度变了、台面摩擦系数换了、有外部扰动推了一把VLA在这些物理条件变化下通常表现很差。原因是它学到的动作映射是和训练时的物理分布绑定的输入分布一偏输出立刻跟着偏。WAM显式建模状态转移相当于在内部存了一份“这个世界在不同条件下会怎么演化”的统计模型。模型见过“斜面越陡物体越容易滑”那就知道在更陡的斜面上应该减少推力的水平分量模型见过“重物体惯性更大”那就知道在推动重物时要留出更长的减速距离。这种能力不是靠背诵动作而是靠对物理规律的归纳。需要提醒的是这种优势成立的前提是训练数据里确实覆盖了足够的物理变化。如果WAM只在平整桌面上看过抽屉滑动你突然给它一个高低不平的变形桌面它一样会翻车。3.4 时域泛化长任务与多步误差WAM的想象优势开始显现机器人操作里最难啃的骨头之一是长时任务。一个整理桌面的任务可能有二十到三十个动作步骤VLA式“逐帧反应”的策略会面临误差累积问题第1步偏一点第2步就偏更多到第10步可能已经完全脱离任务语义了。因为它每一步都只看当前帧没有内部的未来预演机制。WAM在长时任务上有一个结构性优势它可以在内部先展开未来的状态轨迹再根据轨迹选择动作。状态预测就像在脑子里跑一遍“任务模拟器”可以提前发现“照当前趋势走下一步会把杯子撞倒”从而中途换动作。当然这对世界模型的预测精度要求很高预测误差大的时候想象的未来比不看还糟糕。从模拟项目X的15步整理任务测试看VLA类方案在长链条上的成功率衰减几乎是线性的而带想象规划的WAM方案衰减要平缓很多。但如果任务只有三五步这个差异并不明显两边都能做。3.5 别忘了一个反例世界模型出错时错误会一路传导WAM不是万能的。世界模型预测不准时它的想象越远错得越离谱而且所有下游动作都会被这个错误的状态预测带偏。VLA的错误往往只影响当步动作下一步还能靠真实的传感器反馈拉回来一部分容错空间反而更大。我把这个反例放在这里是想避免把WAM捧成灵丹妙药。在接触操作密集的场景比如拧螺丝、插接件物体的微小位姿误差会导致状态预测快速发散WAM的动态模型很容易“想象出一堆现实中不可能发生的事”。处理这种场景VLA的“笨但直接”反而更可靠。4. 公开观察与我自己跑的对比实验4.1 第三方基准上的共性规律近两年几个公开操作基准的测试结果有一个共性规律VLA类方法在训练分布内的任务上表现抢眼部分任务成功率能做到八成以上但一旦测试集换上新的物体类别、新背景、新的指令措辞成功率掉到四成以下也不新鲜。曲线通常很陡像极了“背题背得好但不会举一反三”的考试型选手。以世界模型为核心的方案恰恰相反。它们的训练内任务成功率往往略低于VLA但在分布外测试集上的表现要平稳得多通常能稳定在六成上下。两者的成功率曲线一对比就是一道剪刀差训练内VLA占优越往分布外走WAM的优势越明显。这里要强调一句不同基准的任务组成、难度分布差别很大直接比对绝对值没有意义。真正值得注意的是“相对跌落幅度”也就是同一套系统从训练内换到分布外后跌了多少。这个指标最能反映泛化能力可惜很多人只看最终数字不看跌幅。4.2 模拟项目X的A/B测试同数据量下的四条部署对比为了不被二手结论左右我在模拟项目X里做了四组对照纯VLA7B视觉语言底座微调、VLA加后置安全过滤、世界模型加动作头、世界模型加想象规划。四组共用同一批训练数据不包括任何测试场景相关的轨迹。结果大致是这样的部署方案指令跟随单步抓取成功率分布外物体分拣15步长时整理纯VLA高良好差约四成差后期明显脱轨VLA安全过滤高良好略好但仍有动作僵持改善有限世界模型动作头中等良好中上约六成中上世界模型想象规划中等良好中上接近七成较好误差累积明显缓解数字只对我们这个任务分工和数据集构成有效我不主张拿它当普适结论。但趋势和前面公开基准观察是吻合的指令跟随VLA占优分布外物理条件下世界模型路线更稳长时任务想象规划有明显增益。4.3 数字之外我更看重的评价口径比“谁的成功率高”更重要的是“失败模式可不可预测”。VLA在分布外物体上的失败方式是“识别到了、动作不对”模型看起来很有信心实际上在胡来WAM在同样场景下的失败方式是“状态预测开始发散”你渲染出想象帧一看就发现不对。对做系统集成的人来说可预测的失败比偶发的成功值钱得多。因为前者意味着你可以设计监控规则、可以加安全兜底、可以在失败发生前干预后者意味着你只能看到最终结果崩掉但根本不知道它从哪一步开始失控。这也是我后来在项目里越来越倾向WAM的一个重要原因。5. 除了泛化工程落地还要算这五笔账5.1 训练成本VLA流程成熟WAM对算力宽容度低VLA的训练流程相对成熟开源底座也多小团队用几卡做小规模微调是完全可行的。虽然它吃数据但数据问题可以通过买数据、用仿真、复用公开集来缓解。整个训练管线已经被社区打磨得很顺踩坑成本低。WAM的困难不在动作标签而在动态模型本身的训练。高质量视频世界模型是一个非常吃算力的东西动辄几十张卡起步小团队从零训一个基本不现实。除非你有团队专门负责动态模型的训练稳定性和数据管线否则不建议把WAM当作第一个尝试的方案。5.2 推理时延与控制频率想象是要付出实时性代价的VLA一次前向出动作端到端能做到几十毫秒级别跑在低速移动操作或远程遥操作上问题不大如果你要的是高频力控当前VLA其实也远远不够通常都得外接一个高频底层控制器来补。WAM的问题更突出。每次决策都要在内部展开若干步想象延迟会随想象步数线性增长。你想象未来5步和想象未来50步消耗完全不在一个量级。工程上常见的折中方案是低频路径用WAM做任务级规划和大尺度避障高频路径还是传统的PID或阻抗控制来执行底层动作两者互相配合而不是让WAM接管全部控制频率。5.3 黑箱程度与调试体验WAM能让你“看见它为什么疯”VLA的调试体验是出了名的差。任务失败了你对着日志看半天也很难判断到底是视觉编码器看错了、语言模型理解错了还是动作头回归错了。最后只能改数据、重训、再试来回循环非常耗时。WAM的中间状态预测给了你一个可视化的调试抓手。模型想象出来的下一帧是什么渲染出来人一眼就能看出合不合理。如果想象帧里物体穿墙了、发生瞬移了不用多想动态模型出问题了如果想象帧合理但动作执行出错那问题大概率出在动作生成模块。这种“分模块定位问题”的能力在工程交付场景里特别加分尤其是客户追问“为什么失败”的时候。5.4 与安全/规控栈的融合状态预测天然是安全判据任何机器人系统落地都绕不开安全。VLA直接输出动作通常要在外面套一层安全过滤器检查碰撞、关节限位、速度限制不符合就拦截。拦截不执行你这个动作就算白算了系统的可用性会打折扣。WAM因为能预测状态天然多了一个安全判据用实际传感器读回来的状态和模型预测的状态做比对偏差超过阈值就停机。这个机制相当于让机器人自己“意识到”世界跟它想象的不一样。很多团队跟我聊过他们引入世界模型并不是为了替代VLA而是为了拿到这个“状态比对偏差”信号来触发安全策略。5.5 可解释性给客户和审核方一个交代在不少工业交付场景里面对审核方“你凭什么认为这一步是安全的”这类问题VLA的黑箱输出很难回答。WAM可以把“模型认为的未来画面”和“实际画面的差异”展示出来配合状态预测偏差的数值至少能形成一个说得通的解释链。可解释性这件事经常被低估但它决定了项目能不能过审、能不能交付、能不能得到非技术方的信任。在这一点上WAM的结构性优势非常清楚哪怕它的最终成功率暂时不如VLA高很多客户也愿意接受一个“能说清自己在想什么”的系统。6. 我的选择逻辑与混合路线实践6.1 先想清楚你的任务缺哪种泛化做技术选型别上来就问“哪个更好”先问“我的任务主要缺什么”。如果用户的指令千奇百怪今天说“把那堆东西理整齐”明天说“把红色圆形放到蓝色方形里”语义泛化是硬需求VLA几乎是必选项或者至少要在系统里保留一个强大的语言理解前端。如果任务核心是“物体物理属性变化多”“接触操作频繁”“长时多步执行”比如分拣异形件、装配、整理你要补的恰恰是物理泛化和时域泛化。这时候WAM的价值会体现得很充分投入产出比也更高。最怕的情况是两边都想要但不知道该从哪入手。我的建议是别一步到位追求完美先抓住当前业务最疼的那个泛化维度把它用对应的路线解决掉再逐步补另一侧。6.2 我倾向的混合落地顺序从模拟项目X以及后续几个模拟环境里的实践看我目前最倾向的工程路径是把两条路线叠起来用而不是硬分胜负。第一步先用VLA做任务理解和语言入口。它负责把自然语言指令翻译成可执行的任务状态目标以及提供一个合理的初始动作候选。这一步的价值是保住语义泛化。第二步把VLA输出的动作候选交给世界模型做验证。世界模型在当前状态下对这个候选动作做一步或几步的想象展开检查下一状态是否符合物理规律和任务约束。如果想象结果合理就执行这个动作如果明显不合理就让系统换一个候选动作或者直接触发安全机制。第三步把“想象状态与实际状态”的偏差持续记录下来。这个偏差曲线就是整个系统最宝贵的调试信号它会告诉你VLA在哪一类场景里开始不靠谱、世界模型在哪一类物理条件下开始失真。后续优化就有了明确方向。这套顺序的好处是不用推翻任何一边的技术积累。VLA继续发挥它的语义优势WAM继续发挥它的动态校验优势两边各干各最擅长的事中间的接口就一个“状态预测偏差”。6.3 给后来者的三句话第一句泛化能力不是一个数字更像一张四维雷达图。语义、视觉、动力学、时域四个维度各有各的赢家。谁在某个维度强只能说明它适合解决那个维度下的问题。第二句别被路线之争带节奏。很多讨论看似在比技术实际上比的是手里的数据分布和评测口径。训练数据不同、测试集不同谁都能通过调整样本分布让自家的路线看起来更厉害这种结论没有迁移价值。第三句如果真的准备投生产WAM带来的“可预测失败”和“想象偏差信号”可能比几个点的成功率提升更值钱。它也许暂时不是成功率最高的方案但它能让你知道自己正在失败以及为什么失败。这两件事做机器人系统集成的人应该都懂有多重要。回到开头那个模拟项目X。后来我们在分拣场景里留下了VLA做语义任务分解又加了一个轻量级世界模型对关键动作做想象校验异形件分拣的成功率和使用体验都有了很大改善。两条路线最后没有打起来反而成了同一套系统里互补的两层。我个人觉得这大概就是这类争论最合适的结局谁也不吃掉谁最终在工程里各归其位。