1. 从“十一”这个编号说起这套系列到底在讲什么我陆陆续续写了十篇关于具身智能行业观察的文章从硬件本体聊到操作算法从仿真环境聊到数据策略内容比较零散不成体系。这篇是第十一篇标题定成了“具身智能破壁入世VLA”算是把前面埋下的线收一收集中讲一个当下最热也最容易被误解的方向VLA——Vision-Language-Action视觉-语言-动作一体化模型。先说清楚这篇内容适合谁。如果你是做机器人控制、计算机视觉或者大模型应用研究的这篇文章能帮你把VLA的技术全貌、数据方案和落地边界梳理清楚如果你是做产品、做投资、做行业分析的这篇文章能告诉你哪些场景真的开始用VLA赚钱了哪些还停留在实验室Demo阶段如果你是刚入门的学生这篇文章里没有太多数学公式更多是讲清楚“为什么各家都在押注这条路”以及“真正跑通一个VLA项目需要扛过哪些坑”。三种读者都能各取所需。“破壁入世”这四个字是我对VLA当前阶段的理解。破壁指打破仿真环境和实验室固定工位对机器人能力的限制让机器人走出安全区面对真实世界的长尾分布入世指从论文指标走向生产现场的节拍、良率、安全和维护成本。VLA恰恰是这两件事的共同抓手——它第一次让机器人的“眼睛”“大脑”和“手臂”不再是三个独立模块而是被同一个模型贯通起来从高层语义直接映射到底层动作。过去十年机器人学界的主流做法是基于模块化流水线感知模块输出物体位姿规划模块计算轨迹控制模块执行指令。这条路线很成熟但在面对非结构化场景时非常吃力——每一个环节的误差都会向下游累积感知错了后面全错而且你很难定位错误到底发生在哪一环。VLA的路线则是端到端的把“看到什么”和“该怎么做”直接绑定在同一个网络里利用大语言模型的语义理解能力作为中间桥梁让机器人不仅能执行“抓取A放到B”这种明确指令还能应对“把挡路的东西挪开再拿杯子”这类需要常识推理的开放指令。这条路能不能走通、走出了多远、踩了哪些坑就是我这一篇想展开聊的。2. VLA的三段式结构视觉、语言、动作是怎么被捏成一股绳的2.1 从“三个盒子”到“一条流水线”的架构演进传统机器人系统的三大模块各司其职像三个独立公司视觉公司负责告诉你“桌上有一个红色马克杯位置在相机坐标系的(0.3, 0.2, 0.05)”规划公司负责根据这个位姿算出一条无碰撞的抓取路径控制公司负责沿着路径把电流指令发给电机。三个公司之间靠固定的接口协议沟通接口定义得好系统就稳定一旦场景里出现协议没覆盖的情况——比如杯子被书本挡住了一半视觉公司给不出可靠位姿——下游两个公司就集体停工。VLA的路线是把三个公司合并成一个“超级个体”。对外仍然是输入相机图像和自然语言指令输出关节角度或者末端执行器的位姿序列但内部不再显式维护“物体建模”“路径搜索”“碰撞检测”这些中间环节而是让模型自己学习“图像特征—语义特征—动作特征”之间的隐式映射。这里的关键词是隐式。一个典型的VLA模型结构大致分三块。第一块是视觉编码器负责把多视角的RGB图像转成视觉Token序列第二块是骨干语言模型通常是经过数十亿图文语料预训练的Transformer负责把用户指令和视觉Token做跨模态融合第三块是动作解码头负责将融合后的表征映射为具体的动作序列。三块通过一个统一的训练目标联合优化图像特征不再是为了“让人类看懂”而提取的而是为了“让动作输出更准”而提取的。我在一个模拟项目X里第一次跑通这套流程时最直观的感受是传统管线调试像修水管哪段堵了修哪段VLA调试像训练一只导盲犬你很难说清它怎么绕过障碍的你只能通过不断喂场景、纠错误发现它慢慢真的学会了。这种模糊性既是VLA的魅力也是它落地时最让人头疼的地方。2.2 语言模态在这个体系里不是“锦上添花”而是“控制平面”很多人第一次听到VLA时会有个疑问机器人干活为什么要懂语言直接拿视觉喂给控制网络不行吗这个问题的答案指向VLA设计中非常关键的一个理念——语言不是为了让机器人和人聊天而是为了让任务的语义空间变得可枚举、可组合、可干预。如果没有语言模态一个视觉-动作模型的输出空间就是“看到什么做什么”模型学到的是一堆隐式的场景-动作关联。这有两个问题一是泛化性差换个场景就得重新学二是无法接受用户的临时指令比如在流水线上临时喊一句“今天这批工件反过来放”模型根本听不明白。加入语言模态之后整个控制逻辑变成了“以指令为中心”。模型不再只是学习图像到动作的映射而是学习“图像指令”到动作的映射。什么变了指令把需要关注的重点信息从图像里“勾”出来了。同样是桌上乱七八糟堆着东西指令是“拿红杯子”和指令是“先清理桌面”模型内部激活的特征是完全不同的。语言模态就像一个可插拔的控制平面用户在推理时任意改写这个平面而不需要重新训练模型主体。这个特性在实际项目里极其值钱。我见过一个物流仓储的落地项目现场调度员几乎每天都会提出新要求——“不要把易碎品叠在纸箱上”“优先处理标红的退货件”。如果按照传统方式每加一条规则都要重新标数据、重新训练根本赶不上业务变化速度。而VLA模型只需要把新指令作为文本输入喂给模型80%以上的情况都能正确响应。这就是语言模态带来的“以零成本扩展任务语义”的能力。2.3 动作输出头连续输出还是离散动作各有各的账要算前面两块——视觉编码器和语言骨干——在大模型时代已经有相当成熟的预训练方案真正体现机器人特色的是第三块动作输出头。动作输出的设计直接决定模型能不能在真实机器人上稳定执行是VLA工程化最核心的分歧点之一。目前主流方案有两种。一种是连续动作输出解码器直接输出6自由度的末端位姿增量或者输出各个关节的角度增量。优点是控制细腻能完成高精度插孔、装配这类任务缺点是训练不稳定动作序列稍有噪声机械臂就容易抖动甚至飞车。另一种是离散动作输出把空间和运动模式划分成有限的“动作词表”模型输出的是离散Token比如“前进到位置A”“抓取”“旋转90度”“放置到槽位B”。每个Token对应一段预先定义好的运动原语。离散方案的思路在工程上更容易兜底因为动作原语是人工设计的天然安全缺点是表达能力受限复杂精细任务往往需要大量原语组合推理链会变得很长。我实际测试下来的经验是取放类任务用离散方案能达到99%以上的成功率几乎没有安全事故而高精度装配类任务必须走连续方案但需要额外加规则限制和控制层滤波防止模型“手抖”。目前业内很多开源VLA项目采取了混合策略动作头以离散Token为主关键节点插入连续微调分支。这种“粗粒度决策用离散、细粒度修正用连续”的思路兼顾了安全性和灵活性也是我在自己的模拟项目X中验证过的路线后面部署章节里我会展开讲具体怎么配。3. 破壁的第一道墙数据从哪来动作标签怎么打3.1 遥操作数据质量最高但扩张速度像蜗牛VLA训练需要的是“图像语言指令对应动作序列”的三元组数据。这个数据形态和自动驾驶训练数据有本质区别——自动驾驶只需记录人和环境的交互结果而VLA需要记录“人在看到同样场景时会怎么操作”。最直接的数据获取方式是人遥操作机器人采集。具体操作是数据采集员戴上操作手柄或穿上动作捕捉服在真实环境中控制机械臂完成抓取、放置、开关抽屉等任务系统同步记录所有相机图像、指令文本和关节运动数据。每一条数据的质量都很高因为它百分百是真实物理交互涵盖了接触力、遮挡、光照变化等仿真难以模拟的物理细节。我参与过的某3C组装线的数据采集项目里一个熟练操作员一天能采大约800到1200条有效轨迹。听起来不少但一个VLA模型要从零训练到可用的水平至少需要5万条以上的高质量轨迹。算下来单人采够基础数据需要将近两个月而且人还会疲劳、出错、注意力下降数据质量也随之波动。更麻烦的是换一个机器人本体、换一套相机布局之前采的数据基本作废或者需要大规模重新标注。遥操作数据是VLA燃料里的“优质汽油”但供应量实在太少。3.2 仿真数据便宜量大但Sim-to-Real的裂缝必须正视既然真实数据贵那就去仿真环境里批量生成。操作是用物理引擎和渲染引擎搭建数字孪生场景在场景里随机撒物体、随机设置障碍、随机生成指令然后让自动化脚本或者强化学习策略批量跑任务把所有成功轨迹记录下来作为训练数据。优势非常明显一个仿真场景跑一个晚上就能生成几万条轨迹成本几乎可以忽略不计还可以人为构造各种极端情况比如极端光照、物体堆叠、抓手打滑。但仿真数据有个绕不开的裂缝——Sim-to-Real Gap仿真到现实的迁移鸿沟。物理引擎对摩擦力、材料弹性、接触形变的建模始终存在偏差渲染引擎对表面的质感、反射、阴影的处理也和真实相机有差异。模型训多了仿真数据可能会学到“看见塑料质感就觉得表面很滑”“看见高光就觉得物体是金属”这类隐含偏见到了真实世界就出偏差。我的实操经验是迁移鸿沟不完全靠“把仿真做得更像真”来弥补而是靠域随机化——在仿真里把材质、光照、纹理、物体尺寸全部随机化让模型学到“这些视觉外观都不重要重要的是形状和语义”。配合少量真实数据混合训练迁移成功率可以拉到可以接受的水平。通俗讲不要让模型背下“每个场景长什么样”而是让它掌握“面对没见过的情况该怎么泛化”。3.3 互联网视频预训练用“看见做过”来补“亲手做过”的课VLA数据策略里还有一种非常取巧的来源互联网上的海量操作视频。人类拍下了大量“如何煎鸡蛋”“如何安装书架”“如何叠衣服”的教学视频这些视频里没有机械臂的动作标签但蕴含着丰富的“视觉-语言-行为”对应关系。模型可以预训练去学习“看到这个视觉状态通常下一步会发生什么”虽然不能直接输出机器人可执行的动作指令却能在语义层面建立“状态转移”的先验知识。这套思路有它的合理性。一个从来没做过饭的人看了一百个做饭视频后哪怕第一次上手笨拙也大概知道该先热锅还是先切菜。VLA模型的预训练阶段就相当于让它在互联网视频里“看会了”大量常识性任务流程再通过少量遥操作和仿真数据学会“具体怎么用手臂把动作执行出来”。我在实践中的一个经验是互联网预训练最大的收益不是让任务成功率直接提升而是让模型面对陌生指令时不再“懵”——它在语义层面理解了指令意图只是动作输出暂时不准。这时候只需要几十条遥操作数据做微调成功率就能显著上涨。相反如果完全跳过预训练直接从零开始用机器人数据训练模型对开放语义的理解会非常弱微调多少条真实数据都难补回来。数据策略的优先级排序应该是互联网预训练打底、仿真数据扩量、遥操作数据精调。4. 破壁的第二道墙从“模型能跑通”到“机器人在产线上敢跑”4.1 推理速度与安全控制的博弈VLA不是跑通演示就完事了模型在实验室里能完成任务和机器人在真实产线上能稳定完成任务中间还隔着一道工程化的深沟。第一个深沟就是推理速度。VLA模型动辄数十亿甚至上百亿参数一次完整的“看图—理解指令—生成动作序列”推理可能需要100到500毫秒。这个速度在人机协作场景里还能接受但在追求节拍的自动化生产线上往往要求机器人每个动作周期的决策时间在10毫秒以内。这个矛盾怎么解不能单纯靠买更贵的GPU硬扛因为产线上的控制器往往没有条件部署大型推理服务。业界目前的通用解法是“分层推理”粗粒度任务规划用大模型低频调用、允许高延迟细粒度实时控制用小模型或传统控制器高频执行、严格控制延迟。具体来说VLA模型只负责在任务切换或异常情况时生成一个新的“动作计划”而在执行过程中底层还是由高速控制器按照预设轨迹插补运动。我在部署一个模拟项目X时踩过一个非常典型的坑一开始让VLA模型直接输出每个控制周期的目标位置结果GPU偶尔的延迟抖动直接导致机械臂轨迹不连续末端在空间里划出了抖动轨迹甚至触发安全碰撞检测停机。后来加了分层结构——VLA输出关键路点底层的插补算法填满路点之间的细粒度轨迹——问题立刻消失而且任务成功率没有明显下降。这个教训是VLA应该做“下达作战意图”的角色而不是“替士兵迈每一步”的角色。4.2 失败恢复与行为边界VLA出错时系统怎么兜底任何模型都会有预测错误的时候VLA也不例外。关键问题在于错误发生之后系统能不能自恢复以及错误会不会演变成安全事故。我在实验室里测试模型时发现VLA失败的方式和传统程序化控制很不一样——传统程序是“确定性地走错路径”VLA则是“自信地执行一个看似合理但完全错误的行为”。比如指令是“抓取蓝色螺丝”模型可能因为反光误判颜色然后稳稳地抓起了旁边的红色垫片。这个过程全程“自信满满”如果没人盯着它会继续执行后续的放置动作把错误的零件装到错误的工位。因此部署VLA系统时行为边界必须在设计阶段就定义清楚。我通常的做法是三层兜底第一层是“物理边界”通过限位开关、力矩传感器和碰撞检测确保机械臂无论如何都不会伤人毁物第二层是“任务校验”在关键动作节点用独立的传统视觉算法复核物体类别、位置和姿态发现异常立即暂停并请求人工介入第三层是“语义审核”对VLA生成的整条动作计划做规则匹配比如“指令要求抓3个但计划里出现了5个抓取动作”这一类低级语义错误在规则层可以直接拦截。三层兜底写下来你会发现VLA在这个体系里并不是“唯一的决策者”更像是一个“聪明但需要监管的方案生成器”。这和人类新员工上岗很像你可以让他大胆尝试但安全员和操作规范一直在那里兜底。4.3 跨平台部署的隐藏成本换一个机器人模型要重训多少VLA模型的部署还有一个非常容易被低估的工程问题——跨本体迁移。不同品牌机械臂的运动学结构、关节限位、最大速度、夹爪自由度都不一样同一个模型在这个机器人上能跑出95%的成功率换一台机器人可能直接掉到50%以下。原因在于动作输出空间变了。关节角度的含义完全不同末端执行器的坐标基准不同夹爪的闭合策略也不同。除非模型在训练时就做了高度本体无关的表示学习否则迁移意味着大量的适配工作甚至要重新采集一部分新本体上的遥操作数据。我在某公司做技术评估时他们给了一个VLA模型在测试台上表现很好但一旦挂到实际产线的机械臂上光是“相机外参标定差异”这一项就让抓取成功率掉了20个百分点。这里我的建议是选型VLA方案时一定要把“是否支持跨本体微调”和“迁移数据成本”纳入评估指标而不是只看论文里的基准成绩。一个声称支持“10条数据完成新任务适配”的模型在工程上远远比“需要2000条数据才能达到95%成功率”但在基准榜上高0.5%的模型有价值。破壁入世不只是让模型走出实验室还要让模型走出“训练它的那一款机器人”。5. 入世后的真实场景谁在用VLA赚钱谁还在讲故事5.1 工业取放与上下料最“无聊”但最先跑通的场景VLA在工业场景最先落地的领域可能和很多人想象的不一样不是写满了“高精尖”的手术机器人而是看起来相当“无聊”的上下料和取放任务。为什么是这里因为这个场景的三个特点恰好命中VLA的优势区环境相对结构化、物体种类有限但经常更换、单次动作的失败代价可控。举一个真实的场景描述细节做了脱敏处理某汽车零部件产线需要把不同型号的金属工件从料框中取出放入加工中心。传统自动化方案使用的是振动盘加定制治具一种工件对应一套机械结构更换产品型号时需要人工花数小时换模具。换用VLA方案之后操作工只需要在界面输入“取出型号A的工件大面朝上放入料台”机械臂就能根据相机看到的实际工件状态调整抓取姿势换型时间从小时级缩短到分钟级。这个项目里最关键的成功因素不是模型本身有多强而是“任务的失败模式足够简单”——抓歪了、没抓住、放偏了这三种失败都容易通过视觉校验发现也容易自动重试。系统里设置了一个简单的重试逻辑失败次数少于3次时自动重新规划抓取策略超过3次才请求人工介入。上线几个月后统计下来需要人工介入的比例不到千分之一这已经达到产线可接受的水平。它的商业价值核心是省掉定制治具的工程量而不是机器人本体效率的提升。5.2 仓储分拣与移动操作动态环境才是VLA的真正考场如果说工业上下料是“半开卷考试”那么仓储分拣和移动操作就是“闭卷考试”因为场景里的变量数量和不可预测性都要高一个维度。商品种类繁多、摆放位置杂乱、时不时有人员走动、货物形状各异这些都对VLA的泛化能力提出了真实考验。我观摩过一个细颗粒度分拣项目的实测过程。任务是把传送带上的混流包裹按面单颜色分成三组VLA模型需要从传送带图像中识别不同包裹决定抓取顺序和放置位置。一开始模型的表现只有70%左右成功率大量失败发生在“包裹贴得太近两个件被当成一个件”“面单被胶带反光遮住颜色识别错误”这两类长尾情况。团队后来做了两个改进第一个改进是在训练数据里加入大量“贴脸包裹”的负样本增强模型对物体边界的判别能力第二个改进是给模型增加一个“检测不确定时先暂停”的动作选项当视觉特征置信度低时模型可以主动停下来请求人工标注。第二个改进非常关键。它让模型学会了“承认自己不确定”而不是硬着头皮瞎抓。加了这个机制后整体成功率上升到96%而失败时的人工介入成本也大幅下降。这个案例给我的启示是在开放场景里VLA的价值不只是“做对更多事”更是“少做错事”和“知道自己何时不该做”。5.3 家庭与商业服务场景美好但还需要耐心等待家庭场景应该是大众对具身智能最浪漫的想象——机器人帮忙收拾房间、做饭、叠衣服让生活变成科幻电影。坦率地讲这个场景距离大规模商业化还有一段距离原因集中在三个方面任务的长尾性极强家庭环境的非结构化程度远高于工厂和仓库安全责任的边界模糊机器人如果损伤了贵重物品或者伤到宠物责任归属很难说清用户对价格的接受程度有限一台能靠VLA完成家务的机器人成本目前仍然偏高。但有一个相对接近落地的细分方向是商用清洁与物品整理。比如酒店房间的行李摆放、写字楼会议室的桌椅归位、咖啡馆的杯具回收。这些任务相对固定环境有一定的可控性而且人工成本高、企业愿意付费尝试。我在一个商用场景的项目里测试过VLA控制移动底盘去回收桌面杯具发现最大的瓶颈反而不是“认不认得杯子”而是“移动底盘和机械臂的协同”——底盘定位误差一超过3厘米机械臂就够不到杯具。后来把任务切成了“底盘粗定位—视觉精定位—机械臂抓取”三段让VLA只负责最后的“视觉精定位到抓取”这段系统才稳定下来。这其实就是VLA落地的常态不会一步到位地接管整个复杂任务而是先啃下一段相对独立、价值明确的操作环节。家庭场景的完全自动化大概率需要等硬件成本下降、安全标准成熟、数据规模再上一个台阶之后才能真正破壁入世。6. 给想入局的团队几条实战建议6.1 选型判断通用VLA与垂直微调边界在哪里现在市面上开源和商业化的VLA基础模型不少各有侧重。团队在选型时很容易被“通用能力强”这个卖点吸引但我的建议是回归到自己的实际任务去评估做两张打分表。第一张表列“任务复杂度”比如需要识别多少种物体、指令的开放程度、动作精度等级要求、环境干扰水平。第二张表列“技术储备”包括团队有没有高质量的遥操作采集设备、有没有仿真数据生成能力、有没有GPU训练集群、有没有机器人系统集成经验。两张表交叉之后结论往往会变得清晰如果任务复杂度高但团队数据能力弱应该优先选“通用能力强、零样本表现好”的基座模型直接用现成的能力如果任务相对固定但精度要求很高那就应该选“微调效率高”的模型花大力气做垂域数据追求极限成功率。我见过一个团队犯过的典型错误明明任务只需要抓取三种固定零件却选了一个最重型的通用VLA模型部署时发现推理延迟根本满足不了产线节拍最后不得不砍掉重来。选型不是选“最强的”而是选“最贴自己场景的”。6.2 验证指标成功率之外必须死盯“干预率”和“失败模式”评估VLA系统上线是否成功不能只看任务成功率这一个数字。一个成功率95%的系统如果每一个失败案例都需要安全员紧急急停那这个系统在产线上根本没法用。我建议团队至少盯三个指标成功率、干预率人类干预次数除以总任务次数、失败模式分布。干预率比成功率更能反映系统的成熟度。如果一个系统成功率很高但失败时都伴随危险动作——比如快速甩臂、大力撞击——那说明模型的失败模式不健康不能上线。反之如果成功率不是最高但失败时是“温柔地放下然后请求重试”这个系统就是可以试运行的。失败模式分析也值得专门花时间统计把失败案例分桶比如“视觉误检”“动作不到位”“物体滑落”“语义误解”看看哪个桶占比最高针对性地补数据、调策略远比盲目增加训练总量更高效。这套指标体系本质上是在回答一个问题系统能不能安全地和人类共存。破壁入世的前提从来不是“模型有多聪明”而是“模型出错时有多可靠”。6.3 起步路径从“固定工位加有限物体”开始是最稳妥的方式给正在规划VLA落地的团队最后一条建议不要好高骛远第一个项目一定选择一个“固定工位加有限物体”的场景把端到端的闭环跑通了积累了数据采集、模型微调、系统集成、失败分析这四项能力再逐步增加场景复杂度。这里说的“固定工位”是指机械臂底座固定相机位置固定工作平面固定语义空间依然可以保持开放因为指令是语言输入的你可以随时加指令但物理空间要尽量保持稳定。这样做的原因是把变量数量控制住让模型在“动作学习”上先收敛再挑战“环境感知”的复杂度。我接触过的成功案例里几乎无一例外都是从这个路径走出来的先在桌面级场景里做通了10种物体的取放然后扩展到30种、100种再逐步引入动态障碍物、移动底盘、多机协作。而那些一开始就要挑战“全自主收拾整个房间”的项目基本都卡死在仿真到现实的裂缝里。7. 入世之后VLA还有多远的路要走常有人问我VLA是不是具身智能的终局我的观点是它是现阶段最接近“通用操作智能”的答案但远不是终点。现在的VLA模型在许多任务上确实做到了“看到一个任务听明白指令完成动作”但它仍然缺乏两个重要的能力。一个是物理直觉的深度。人抓取一个盛满水的杯子时会自动调整力度和速度知道水会因为晃动而溢出这种基于物理规律的预判能力今天的VLA模型主要通过遥操作数据间接地学到并没有形成系统的物理世界模型。另一个是因果推理的能力。如果杯子倒了是因为之前有人碰过桌子模型很难从当前静态图像中推断出这段历史的来龙去脉也就无法做出合理的补偿策略。这两个能力意味着下一阶段的VLA不会停留在“感知—动作”的闭环上而是会加入更多世界模型和时间序列建模的元素。模型需要从“看一张图做一件事”升级到“持续观察、维护环境状态记忆、跨时间步做规划”。这也意味着数据的需求会更复杂——不再是静态指令加轨迹而是需要长时间跨度的多模态数据包含操作历史、环境变化和结果反馈。作为从业者我对这个方向的判断是谨慎乐观的。谨慎是因为VLA要真正大规模入世还需要硬件成本、安全认证和数据生态三个维度同步成熟任何一个短板都会限制商业化速度乐观是因为过去两年里VLA在开放命令理解、跨对象泛化、故障自恢复这几个关键维度上的进步速度已经超出我最初的预期。每次在产线上看到一台带有VLA系统的机械臂顺利处理完一个从未见过的新工件时我都会觉得这项技术从论文标题走向车间现场的速度可能比大多数人想象的要快。下一篇系列文章如果我还继续写应该会专门展开讲讲“世界模型”这条线。今天先把VLA的破壁入世之路做个阶段性复盘希望对正在这条路上摸索的同行有一点帮助。