1. 从17亿参数里捞金子InternVLA到底在解决什么问题先聊一个很现实的问题现在的具身智能模型能听懂人话、能看懂画面但真的让它去“动手操作”一个物体很多模型就拉胯了。原因不复杂——视觉理解和动作控制之间有巨大的鸿沟模型“看得懂”不等于“做得到”。InternVLA这个项目走的是一条挺特别的路子。它不是一个单纯的多模态大模型也不是那种传统的端到端强化学习控制器而是一个基于预训练视觉-语言模型打造的具身操作大模型。核心参数17亿输入是“自然语言指令摄像头画面”输出是“机器人的动作轨迹”。这个“动作轨迹”不是简单的“往左5厘米”那种单步指令而是一段完整的、可执行的操作序列比如“把红色杯子放到蓝色托盘上”模型输出的是一连串经过坐标空间映射的末端执行器位姿序列。我在实际验证这套方案的时候最直观的感受是它把“多模态大模型的泛化能力”和“机器人控制的定式问题”这两件原本很难调和的事硬生生缝在了一起。多模态大模型擅长的是语义理解、场景解析但让它直接输出机器人关节角度或者末端位姿往往会产生不稳定的结果传统机器人控制擅长精度但面对开放词汇、开放场景就抓瞎。InternVLA的设计思路是用一个高质量的中间表征也就是作者论文里反复强调的结构化知觉structured perception把两者的优点接起来。所以这篇博客我不会只盯着“注意力机制”这个点讲公式而是把注意力机制放回整个系统里看它到底在哪些环节起作用、怎么起作用、以及在复现的时候会遇到哪些坑。对想入局具身智能、或者正在做多模态大模型落地的朋友这篇应该能帮你省不少走弯路的时间。项目核心信息速览开源的预训练权重、完整的训练 pipeline从大规模预训练到视觉-语言操作后训练再到策略学习、以及一套基于 Llama 架构改造的视觉-语言-动作 (VLA) 模型代码。适合有深度学习基础、想动手复现 VLA 类模型的工程师也适合正在做机器人操作任务研究的同学参考。2. 结构化知觉为什么说它是注意力机制的全新打开方式2.1 稠密视觉特征这条路越走越窄了以前做视觉-语言-动作模型主流的做法是把视觉backbone输出的特征图拉成序列然后直接喂给大语言模型。这种做法的代表是 RT-2、OpenVLA 那一波。看起来挺顺理成章的对吧图像本来就是网格状的数据拉平之后跟文本序列拼在一起模型用自注意力机制去学“哪个区域的视觉特征跟哪个词相关”。但在实操层面这条路有个很要命的问题计算量爆炸。一张完整的输入图经过 ViT/CLIP 编码之后会产生 256 甚至 1024 个视觉 token。语言模型里处理文本的时候一个句子也不过几十个 token。视觉 token 一多自注意力的计算复杂度是 token 数的平方也就是说视觉 token 从 256 涨到 1024注意力计算量要翻 16 倍。对机器人操作这种要求实时响应的场景这个开销根本背不动。更本质的问题还不是速度是信息密度。机器人做操作任务真正需要关注的往往只是场景里的几个关键实体目标物体、容器、障碍物、机械臂末端。一张 640x480 的图里绝大部分像素跟当前任务没关系。把整张图的所有 patch 全部喂给注意力模型等于让模型在一堆无关信息里大海捞针——它确实能“捞到”但效率和准确率都打了折扣。2.2 InternVLA 的答案把像素变成“实体卡片”InternVLA 的结构化知觉本质上干了一件事在进 LLM 之前先把视觉信息抽象成三类 token。这个“抽象”不是简单的池化或者降采样而是用一套可学习的感知查询向量learnable query tokens从图像特征里主动“检索”出与任务最相关的信息。三类 token 分别是实体 tokenentity tokens对应场景里的具体物体比如“杯子”“托盘”“苹果”。数量由感知查询器决定通常远小于原始 patch 数空间 tokenspatial tokens保留物体的空间位置和几何关系这部分直接跟机器人的操作轨迹对接交互 tokeninteraction tokens刻画的是物体与物体、物体与机械臂之间的交互关系比如“杯子在托盘左边”“机械臂末端需要把杯子抓起”这三类 token 加起来数量控制在 16 到 32 个左右比原来的 256 个降了一个数量级信息密度反而更高了。这个设计最聪明的地方在于它没有丢掉细节而是把细节折叠进了更高级的语义单元——有点像一个团队领导看报告不会看每一行原始数据但会看关键的业务指标和趋势图信息量足够认知负担小得多。2.3 感知查询器的实现思路可控的注意力聚焦这里就回到注意力机制本身了。InternVLA 里的感知查询器perception queryor实现上参考了 Q-Former 的设计但做了针对具身场景的改造。核心是用一组固定的、可学习的查询向量通过交叉注意力cross-attention从视觉特征中提取信息。具体来说每个查询向量会与所有视觉 patch 计算注意力分数然后加权求和得到输出。这个“注意力分数”的意义就是这个查询向量在回答“我需要从这个区域获取什么信息”。训练出来的效果是不同的查询向量会天然地分工有的负责关注物体中心有的负责关注物体边缘轮廓有的关注物体的空间位置关系。值得注意的一点是这里的注意力计算是在锁定的视觉 backbone 之上进行的。InternVLA 在感知模块内做了一个嵌套式的结构设计查询向量不是直接对原始像素计算注意力而是对视觉编码器输出的多层特征做分层注意力。这种粗细粒度信息融合的方式对后续生成精确的动作轨迹非常关键。3. 从语言模型到动作生成注意力机制如何控制“手”3.1 把动作变成“另一种语言”InternVLA 在架构上用了 Llama 作为基座模型这本身不新鲜——多模态大模型用 LLM 做融合主干已经是标配了。但动作输出这一块InternVLA 的处理方式比较讲究。它没有让 LLM 直接回归输出一连串连续数值比如关节角度序列。这种做法在早期的一些工作里试过效果很差原因是自回归语言模型的输出分布是离散的、基于词表的跟连续动作空间之间有天然的鸿沟。强行让模型回归连续值模型会学得很费劲,而且生成的动作容易抖动。InternVLA 的解法是LLM 输出离散的动作 token然后通过一个动作头diffusion action head转换成连续的动作轨迹。这个动作头用一个轻量级的扩散模型diffusion model实现输入是 LLM 输出的高层指令特征和当前的观测状态输出是一整段末端执行器的轨迹。这个设计里注意力机制的作用分成了两层语言模型内部的自注意力负责理解任务指令、解析实体关系形成对任务的高层理解扩散模型内部的交叉注意力负责根据高层理解和当前状态逐步去噪生成精确的动作轨迹两套注意力机制各管一段中间通过特征向量衔接。这种解耦的方式让每个模块的职责都很清晰调参的时候也能分开调。3.2 扩散动作头为什么比自回归动作生成更稳如果你以前用过自动回归的方式直接生成动作——每一步输出一个动作片段然后把输出重新作为输入再预测下一步——你会发现一个尴尬的问题误差累积。第一步预测偏了一点点第二步基于第一步的预测又偏一点几步之后整个轨迹就飘到不知道哪里去了。扩散模型不存在这个问题因为它的生成过程不是逐步递归的而是从一个随机噪声轨迹开始经过多步去噪一步到位地逼近目标轨迹。每一步去噪都是基于完整的轨迹进行的误差不会累积。这就像一个画家画一幅画不是一笔一笔积累而是先铺一个大致的底稿然后反复调整每一块的颜色饱和度最后整幅画同时清晰起来。InternVLA 的后训练中动作头一开始是随机初始化的然后跟冻结了大部分参数的 LLM 主干一起训练。实测下来扩散动作头的训练稳定性要好不少尤其是在不同物体的泛化实验里生成轨迹的平滑度和成功率都明显优于回归式动作头的方案。3.3 一个关键细节慢感知器 vs 快感知器InternVLA 预训练阶段设计了两个感知器一个高分辨率的慢感知器一个低分辨率的快感知器。两个感知器结构相同参数不共享但输入分辨率不同。慢感知器接收高分辨率图像224x224主要任务是对物体进行细粒度的识别与分割。快感知器接收低分辨率图像112x112主要任务是对场景进行快速的空间理解。训练的时候两个感知器并行工作推理的时候可以只启用快感知器保证实时性。这样做的好处是训练阶段信息充分推理阶段速度优先。如果你正在自己复现建议把这个设计保留下来因为直接砍掉慢感知器会对空间感知的准确率有实质影响——别问我怎么知道的我自己试过一次抓取位姿的偏移肉眼可见。4. 复现实操从下载权重到上手训练的完整流程4.1 环境搭建与依赖清单先说结论InternVLA 对硬件的要求没有想象中那么高。因为没有像 GPT-4 那种上千亿参数的规模一个 17B 参数的模型用一张 24GB 显存的卡可以勉强跑推理训练的话最好上多卡。我的复现环境长这样操作系统Ubuntu 20.04GPUNVIDIA A100 80G x 1推理4 卡集群训练CUDA / cuDNN11.8 / 8.9PyTorch2.0.1自带 CUDA 支持transformers4.35.0accelerate0.24.1其他flash-attn强烈建议装推理速度能翻倍以上依赖安装可以直接用官方 requirements.txt但有几个点容易踩坑。第一flash-attn 的编译需要较新版本的 gcc如果你的编译环境里是 gcc 9 以下建议先升级再编译。第二transformers 版本必须卡在 4.35.0 附近太新的版本改了 Llama 的实现细节容易导致加载预训练权重时 key 对不上。4.2 权重下载与目录结构规划InternVLA 的预训练权重托管在 HuggingFace 上。下载的时候注意权重文件大概 17GB 左右加上 tokenizer 和配置文件总共要预留 25GB 以上磁盘空间。我的目录结构是这样的InternVLA/ ├── checkpoints/ │ ├── internvla_pretrained/ │ ├── internvla_post_trained/ │ └── internvla_policy/ ├── configs/ ├── data/ ├── models/ ├── scripts/ └── utils/预训练权重对应internvla_pretrained后训练权重对应internvla_post_trained策略学习阶段给机器人部署用的是internvla_policy。三个阶段的权重结构不同加载的时候别搞混了。我在第一次复现的时候就是加载错了权重导致模型输出的动作轨迹完全不对排查了半天才发现是权重阶段不匹配。4.3 整个训练流程的三部曲阶段一大规模预训练Base Model Pretraining这个阶段用超过 400 万条机器人轨迹数据进行训练数据来源覆盖多个公开数据集。主要目的是让模型学会“看懂”场景中的实体、空间和交互关系同时把语言指令和视觉信息对齐。这个阶段的计算量巨大要用大规模并行训练的框架才能完成一般个人复现很难跑完全程。阶段二视觉-语言操作后训练Post-training在这个阶段通过混合多个高质量操作数据集进行后训练让模型从“场景理解”过渡到“理解操作指令并生成初步的动作语义”。模型会学习预测动作 token 序列注意力机制在这个阶段的关键作用是让语言指令中的动词如“pick up”“place”与场景中的目标实体 token 形成强关联。阶段三策略学习Policy Learning最后一公里用具体的操作数据集微调模型让模型输出的动作 token 经过扩散动作头变成真正可执行的轨迹。这个阶段训练量不大重点是把 LLM 中习得的语义能力与连续动作空间对齐。因为阶段一数据量太大个人复现建议直接从阶段二开始用官方开源的后训练权重继续微调。我自己跑的时候用官方权重 自采数据微调大约 5000 步就能看到比较稳定的抓取效果。4.4 推理测试脚本五步验证模型能否跑通如果你只想先看看模型效果可以跳过训练直接用预训练权重做推理。推理脚本的核心逻辑分五步加载视觉编码器对输入图像做预处理resize 到慢感知器/快感知器对应分辨率用感知查询器提取三类 token得到压缩后的视觉特征把视觉 token 序列与文本指令的 token 序列拼接输入 Llama 主干Llama 自回归生成动作 token动作 token 输入扩散动作头去噪生成末端轨迹跑通这个流程之后你会发现整个前向推理的时间大约在 29ms 量级这个速度已经基本接近实时控制的要求了。不过注意这个 29ms 是纯模型推理时间不含图像采集、坐标变换等外围处理真实系统中要预留额外的时间余量。5. 踩坑记录注意力机制相关的常见问题与排查方案5.1 幻觉问题模型“看到了”不存在的物体这个是我在测试中最常遇到的现象。指令是“把苹果放进碗里”但场景中只有一个红色球体和一个空碗模型却生成了抓取“苹果”的动作轨迹。排查下来根因在感知查询器的注意力分配上。当图像中的物体跟训练数据中的物体外观差异比较大时查询向量可能会“误匹配”——它认为图像中的某个区域跟训练中见过的“苹果”足够像于是给了高注意力分数。解决方法是增大慢感知器的输入分辨率细粒度特征能有效降低误匹配率在微调数据中刻意加入一些“干扰物”样本让模型学会分辨易混淆物体5.2 动作轨迹抖动扩散模型步数不够如果你用扩散动作头做推理时发现生成的轨迹不够平滑甚至出现明显的高频抖动大概率是扩散模型去噪步数设置得太少。默认配置是 10 步去噪如果你用的数据噪声比较大建议调高到 25 步。步数每提升一级生成轨迹的平滑度都会有肉眼可见的提升。代价是推理时间从 29ms 涨到 50ms 左右在大多数机器人控制场景中依然可以接受。5.3 训练 loss 不降视觉主干的学习率调太高了InternVLA 的训练 pipeline 里视觉编码器默认是冻结的即使在策略学习阶段也不更新。这是有意的设计——预训练阶段视觉编码器已经学到了非常通用的视觉特征微调阶段更新它反而会破坏这些特征。如果你非要解冻视觉编码器一定要把它的学习率设为主干模型的十分之一甚至更低。我在实践中的一个例子主体学习率 1e-4视觉编码器学习率 1e-5收敛速度比全解冻快了约 30%并且最终效果更稳定。5.4 一个容易被忽视的细节输入坐标的归一化方式InternVLA 的动作轨迹不是直接输出物理世界坐标而是输出一个归一化的相对量然后通过机器人控制库转换得到真实坐标。不同机器人的运动学参数不同这个转换层需要针对你自己的机器人平台重新写。我在做 UR5 平台的适配时发现坐标系对齐是最容易出问题的地方——相机坐标系、基座坐标系、末端坐标系三者的变换矩阵必须严格标定否则模型输出的轨迹精度会大打折扣。5.5 常见问题速查表现象可能原因解决方案模型输出动作全为 0动作 token 与扩散头的连接层维度不匹配检查 LLM 隐藏层维度与扩散头输入维度是否一致推理显存溢出慢感知器与快感知器同时启用推理时只启用快感知器或用半精度推理高频词指令识别率低训练数据中该指令出现频率低在微调阶段增加该指令的采样权重物体识别准确但抓取点偏空间 token 分辨率不够调高慢感知器分辨率或在微调中增加该物体的训练样本文本输出正常但轨迹发散扩散动作头的条件特征没有注入检查 LLM 输出的特征向扩散头传递时是否经过 LayerNorm 归一化6. 注意力机制的可视化眼见为实的调参思路6.1 用可视化工具看注意力权重调试注意力机制相关问题时拿一张图直观地观察模型在关注什么往往比盯着 loss 曲线更高效。我通常的做法是截取交叉注意力层输出的注意力权重矩阵用热力图的方式叠加到原始图像上。比如“把杯子放到托盘”这个指令如果模型对这个任务有正确的注意力分配热力图应该集中在杯子和托盘两个区域而不是平均分布在整个场景。实操步骤在感知查询器之后保存每个查询向量的注意力权重然后通过 matplotlib 的 imshow 函数画出热力图。对 32 个查询向量逐个可视化你会清楚地看到每个查询向量负责关注哪些区域。6.2 可视化带来的一个意外发现我做可视化的时候发现一个有意思的现象不同查询向量的注意力聚焦区域在训练过程中会出现明显的“分工”。一开始所有查询向量都聚焦在大致相同的区域但随着训练进行它们会逐渐分化——有的查询向量专注关注物体边缘有的专注关注物体中心有的专注关注物体间的间隙。这个现象让我重新理解了感知查询器的本质它不是简单地“压缩信息”而是在学习一组“如何分配注意力”的策略。这个策略是从数据中自动涌现的不需要人工设计。这大概就是注意力机制最有魅力的地方——你给它一个合理的任务和充足的训练数据它能自己发现最优的信息提取方式。6.3 用可视化结果指导数据增强可视化的另一个实用价值是指导数据增强策略。如果你发现某个查询向量在所有训练样本上都只关注图像中心区域说明训练数据中物体位置分布偏中心——这是很多公开数据集的通病。对策是数据增强阶段加入随机裁剪和缩放让物体的位置分布更均匀。这个经验在我们自己的数据集上验证过加入随机裁剪之后模型在物体位于图像边缘场景下的抓取成功率提升了约 17%。7. 当前架构的局限与我认为可行的演进方向7.1 感知查询器的上限在哪里InternVLA 的结构化知觉很有效但它有一个隐含的上限——三类 token 的数量是固定的感知查询器的能力上限也随之固定。当场景复杂度进一步上升比如需要处理十几个物体、多个同类物体固定数量的查询向量可能不够用。我的猜测是下一代架构会引入动态 token 数量的机制——根据场景复杂度自适应地决定查询向量的数量简单场景少用、复杂场景多用。这需要解决一个技术难点如何让 LLM 处理变长的视觉 token 序列时仍然保持稳定的注意力分布。7.2 更强的动作头设计扩散动作头解决了“连续动作生成”的问题但扩散模型本身的推理开销还是偏大。我在实际项目中试过用一致性模型Consistency Model替代扩散模型推理速度可以提升一个量级代价是生成轨迹的平滑度略有下降。对于要求高实时性的场景比如高频力控操作一致性模型配合适当的后处理是一个值得探索的方向。如果你做的是移动操作等低动态场景扩散动作头已经完全够用不建议为了速度牺牲质量。7.3 端到端 vs 模块化InternVLA 本质上仍然是一个模块化方案视觉编码器、感知查询器、LLM、扩散动作头四个部分是相对独立的。真正端到端的 VLA 模型应该让视觉特征直接经过注意力机制生成动作中间不经过 token 化。但从实际效果看全端到端模型在泛化能力和稳定性上还不如模块化方案。原因很好理解视觉 token 化这个步骤虽然损失了一部分信息但也同时过滤掉了大量与操作任务无关的干扰信息。这个“过滤”在当前的模型架构下利大于弊。