26年7月来自诺因智能Knowin AI、港科大广州、港中大、同济、清华、哈工大深圳、西湖大学和天大的论文“In-Context Learning for RobotsMethods and Applications”。这篇论文最重要的观点是机器人已经具备执行动作的能力并不意味着它知道当前任务应该怎样做。机器人 ICL 的核心是让新示范、纠正和交互经验在不更新神经网络参数的情况下改变机器人的决策并让这些要求在物理执行中得到保留。1论文研究什么从“会做动作”到“能根据学习改变行为”论文用一个很直观的矛盾展开讨论机器人可能已经会抓取和放置所有零件但当前场景未必告诉它应该先放哪个零件要放几个是否必须抓住把手哪些步骤已经完成当前材料、摩擦或阻力是否发生变化。这些信息需要来自示范、语言、历史记录或实际交互。论文将其统一视为上下文。其基本形式是A_t pi_theta(.h_t, C_t), theta 在部署适应阶段保持固定其中h_t是当前执行历史C_t 是任务相关上下文A_t 是接下来的一段动作。这里有三个重要边界容易混淆的概念论文的区分ICL 与微调ICL 改变输入证据、记忆或外部产物微调改变神经网络参数One-shot 与 ICLOne-shot 只说明示范数量一个示范也可能用于梯度更新参数固定与系统不变参数固定时系统仍可更新记忆、生成代码、修改控制参数或增加可调用程序因此这篇综述采用的是一个较宽的机器人 ICL 定义既涵盖示范条件化策略也涵盖历史适应、几何迁移和固定模型驱动的程序修订。第 2 节pp. 5–11论文还提出六种学习视野如图 13 所示层次含义S1 显式控制编程人为规定任务逻辑和控制规律S2 神经策略学习从数据中获得可复用的动作能力S3 基于历史的适应从交互结果推断环境或身体的响应S4 上下文任务学习从示范、指令与纠正中理解任务要求S5 物理递归自改进经验改善后续新任务的学习过程S6 集体知识演化不同机器人交换并验证知识改善群体后续学习S3 和 S4 是互补的信息来源S5、S6 主要是研究目标不能当作已经实现的成熟能力阶梯。如图 4 所示微调和ICL如图 5 所示机器人ICL工作流预训练赋予能力部署阶段则通过四大类方法获取证据、构建上下午并生成行动。结果评估为执行过程提供实时反馈而沉淀下来的经验则为后续的上下文构建提供参考。如图 6 所示适应发生的五个位置与时间尺度。在 (a–c) 中提供的上下文、循环状态或检索的片段作为条件作用于具有固定神经参数的策略在 (d) 中基础参数保持不变而“快速权重”发生变化(e) 则保留更新后的权重以供后续任务使用。蓝色边框和雪花图标标识固定参数红色边框标识更新后的参数火焰图标指示更新阶段。如图 7 所示四种上下文-到-控制的机制2核心分类上下文通过四种接口改变动作这是论文最主要的组织贡献。它按照部署时什么中间结果直接参与动作生成或执行进行分类而不是按照 Transformer、扩散模型或大模型名称分类。第 3 节pp. 15–38图 12所示四种上下文-到-动作的路线方法家族基本路径代表工作主要迁移条件上下文条件化策略示范与历史 → 表征 → 动作ICRT、Vid2Robot、Instant Policy、RICL模型能从上下文中保留任务要求并生成适当动作几何示范迁移示范 → 几何对应 → 重定向轨迹或接触 → 执行DOME、DINOBot、DITTO、MT3、SemAnCorr对齐后的局部交互仍然适用基于世界模型的控制上下文 → 预测未来 → 解码、规划或选择动作DOMINO、Demo-JEPA、HOST、Zero-WAM预测结果符合任务而且能够物理实现技能与智能体执行上下文 → 技能、程序或工具调用 → 执行器Code as Policies、ProgPrompt、XSkill、UniSkill、Show-Harness执行器具备所需能力接口能表达教学约束如图 8 所示四种方法的演变上下文为条件策略几何演示迁移基于世界模型控制和基于-技能和智能体的执行其中NTP 神经任务编程如图 10 所示构建与解读任务上下文。(a) 检索过程选取相关经验时间对齐确定当前阶段而观察到的动作效应则指导身体反应。(b) 语言明确具体操作视觉提示则清晰指明该操作的空间目标。如图 11 所示视觉预测的两种模式训练左与部署右。火焰图标标记可训练模块雪花图标标记固定模块。(a) SynthICL 训练上下文层及两个预测头随后移除子目标预测头图中省略其冻结的 DINOv3 主干网络 [77]。(b) Zero-WAM 训练视频分支与动作分支随后冻结两者并将记录的未来视频替换为生成的视频 [24]。四类方法的差异可以用“看人倒水然后换容器执行”理解。① 上下文条件化策略学习从示范推断动作。模型读取示范与当前机器人状态直接生成抓取、移动、倾倒动作。部分方法先检索相似动作再复用另一些通过学习到的生成器对示范进行转换。优势是可以把任务理解与动作生成紧密结合局限是模型可能利用场景捷径忽略示范中的真正要求或者不能把训练中学到的解释方式迁移到新任务。② 几何示范迁移把示范交互变成可跟踪的参考。系统识别源容器与目标容器的接触部位、局部坐标系或运动关系再调整抓取点和轨迹。优势是接触与相对运动约束较明确容易检查局限是几何对应不保证动力学适用。例如形状相似的容器可能具有不同重量、柔顺性和流动特性。③ 世界模型控制先表达或评估未来再决定如何实现。论文区分两种用法根据示范生成期望的未来再将未来转成动作对候选动作预测后果再选择符合要求的动作。优势是可以在执行前检查结果或进行搜索局限是“预测看起来正确”不等于“存在可靠动作可以实现”预测误差和动作解码误差也会叠加。一个重要分类细节是仅在训练中使用未来预测辅助损失并不自动属于世界模型控制预测必须在部署时实际影响控制。④ 技能与智能体执行理解程序再调用已有能力。系统把示范转成“抓住容器—移至接收容器上方—倾倒—停止”等技能或工具调用。优势是程序顺序、前置条件和修正位置更明确便于长任务组合局限是抽象可能丢失物理细节。例如“拿起杯子”没有表达“必须抓住把手”执行器就可能完成搬运却违背教学。这四类可以组合。程序可以调用几何跟踪器世界模型可以生成技能目标。因此分类描述的是控制接口而非互斥的完整系统。3贯穿四类方法的关键对应关系、记忆和约束保留论文反复强调真正困难的是把示范中的要求传递到当前场景、当前时刻和当前机器人。第 3.5–3.6 节对应关系解决“示范里的东西对应现在的什么”。它至少包括几何对应原来的把手、接触点、局部坐标系对应哪里语义对应谁是工具、谁是被操作对象、谁是接收容器时间对应机器人目前处于示范的哪个阶段动作对应人的运动怎样转成机器人可执行命令。论文用倒水区分三种迁移只替换被持容器、只替换接收容器、同时替换两者。第三种更复杂因为抓取、倾角、出口位置和接收位置需要共同调整。记忆解决“什么证据应当保留以及何时失效”。论文的一个实用区分是记忆内容示例需要重新核验的时机任务要求盘子必须先放新指令或纠正出现后对应关系当前目标位置、示范阶段物体移动或执行阶段变化后物理响应某连接器需要多大调整工具、材料或接触条件变化后执行状态某一步是否完成新动作、观测或场景重置后因此不能简单地认为上下文越长、记忆越多越好。旧位置可能失效而旧的顺序要求仍然有效过期经验甚至会压过新的正确证据。此外记住纠正只是第一步控制接口必须允许机器人在已经到达的状态下执行这项纠正。4数据与训练大量机器人数据不等于学会使用上下文这是论文最有启发性的部分之一。第 4 节pp. 38–51如果训练数据中每个场景都只有一种动作那么模型仅靠当前图像就能预测动作没有必要阅读示范。即使架构支持上下文也可能没有学会利用它。真正有用的训练关系包括同一场景不同要求同样的红蓝零件示范分别要求红先蓝后、蓝先红后同一要求不同场景保持顺序要求同时改变位置、外观和对象失败—纠正—结果相联系让模型知道为什么后续动作需要改变。论文归纳了三种训练组织组织方式训练关系主要作用支持—查询配对示例与另一段执行共享任务要求学习“示范如何指定执行”连续经验流前面的观测与动作解释后续行为学习利用时间历史跨尝试关联记录尝试、反馈和后续修正相联系学习利用失败和交互结果数据来源则各有代价机器人遥操作动作监督直接但采集需要机器人与人工操作。UMI 等手持采集接口减少对机械臂的依赖仍需运动估计和机器人映射。人类第一视角视频行为覆盖广但通常缺乏直接的机器人动作标签。仿真与合成方便控制任务和场景变化但需要验证物理一致性与任务要求是否保留。论文特别区分动作覆盖与教学关系覆盖。前者决定机器人会多少动作后者决定它能从示范中理解多少种要求。例如论文转述 BPP 的实验固定 10,000 条绘图示范将训练任务从 500 个增加到 2,000 个平均 Chamfer 误差从 9.5 降到 3.4 像素。这支持任务多样性的价值但不能据此推断所有机器人任务都只需要增加任务种类。p. 435执行与恢复失败之后需要修正什么论文把恢复过程拆成确认当前状态 → 判断偏离 → 获取诊断证据 → 执行修复 → 保留有条件的经验。第 5 节pp. 51–54不同失败需要不同的信息失败关键问题合适的处理看不清接触区域几何信息缺失改变视角、重新观察物体滑落原来的抓取前提不再成立检查接触重新抓取操作了错误对象任务理解或对应关系错误重读指令与示范插入受阻不清楚是错位、阻力还是障碍获取接触反馈或进行受限探测执行器无法完成修复动作缺少运动能力增加技能或进一步训练这里最重要的是**目标不明确、物理状态不明确、动作能力不足是三类不同问题。**增加示范、增加观测和训练新技能不能相互替代。恢复还必须有“修改范围”改目的地时不应丢掉原来的数量要求修复抓取时不应把尚未完成的步骤错误标记为完成。6应用上下文究竟补充哪种信息第 6 节涵盖操作、导航、长流程、身体与动力学适应以及生产换型。操作任务补充对象关系、抓取方式、顺序、数量或过程约束。导航任务补充示范路线、环境知识、指令解释示例和失败反馈。到达同一终点不代表遵守了指定路线。长流程任务补充步骤依赖、完成状态和恢复位置。对加液等不可逆操作重复执行可能破坏中间结果。身体与动力学适应任务不变但负载、地面、夹具或材料变化需要从动作效果推断响应。生产换型与复用新批次可能只需新程序也可能需要重新验证工具和材料条件。论文将应用价值落到一个务实的问题**从收到新任务到达到可重复的合格表现总共需要多少人工、时间、试验和重置**一次成功并不足以说明换型成本低。7评测怎样证明机器人真的从上下文中学到了东西这是全文最值得借鉴的部分。第 7 节pp. 61–70论文要求把三个结果分开上下文是否适当地改变了行为改变后的行为是否完成物理任务并遵守要求保留经验是否改善后续尝试或新任务学习。对应的关键实验是要验证的能力应做的对照是否读取教学信息相同场景替换为要求另一种可行行为的示范是否依赖表面线索保持要求改变示范者、视角和外观是否能迁移关系保持动作能力留出新的关系或组合是否利用记忆相同当前状态保留或清空历史是否真正受益于经验同等重试预算下比较保留和清空经验是否来自参数更新保持输入恢复适应前参数是否只是执行器更强固定底层技能、工具与控制接口哪个阶段出错替换为正确对应、正确未来或正确程序再检查执行其中尤其重要的是分别重置物理环境和记忆。如果机器人第二次成功只是因为第一次已经把物体推近了目标不能算记忆学习如果只是多试几次提高了累计成功率也不能证明经验有效。论文给出的记忆收益形式是Delta_n^{reuse}^ S_n^{keep}^ - S_n^{reset}^比较必须保持任务、起始物理状态、执行器与尝试预算一致。还要区分三个能力层级从示范中选择已知任务组合已知关系从示例推断训练中未出现的规则。“换一个示范动作变了”只是证明上下文影响行为它尚不足以证明学会了新规则。8这篇综述最值得记住的要点可以归纳为六条机器人 ICL 的关键是证据如何进入控制。四类接口提供了比按网络名称分类更清楚的比较方式。任务要求必须沿整条执行链保留下来。选择、压缩、预测或技能抽象都可能丢失要求。运动能力与可教性是两个维度。一个强策略可能很会完成默认任务却不听新的教学。训练数据要提供必须依赖上下文的决策。只有轨迹数量和视觉多样性不够。目标成功与教学遵循必须分别测量。顺序、路径和接触约束不能只看最终状态。自改进应体现为后续学习更有效。扩大技能库、提高当前任务成功率还不等于改善学习新任务的能力。9论文指出的领域问题哪些能力尚未解决第 8 节提出的方向主要对应以下五个缺口。第一陌生规则学习的证据仍不足。很多成功案例可以解释为识别熟悉任务、检索相近轨迹或组合现有技能。需要留出规则家族并控制训练暴露才能检验更强的规则推断能力。第二很难判断示范的哪些细节必须保留。示范中的停顿可能是偶然犹豫也可能是在等待胶水固化把手抓取可能是偏好也可能是任务硬约束。单次示范往往不能唯一确定意图。第三物理迁移仍受可执行性限制。语义相似、几何相似、功能相似并不等价。能够识别替代物不代表当前机器人能实现所需接触、力或运动。第四长期记忆必须同时支持保留与修正。压缩可能删除后来才变得重要的细节旧纠正可能与新要求冲突。系统需要保存来源、适用条件和可重新解释的证据。第五递归自改进与集体知识演化需要更强验证。应测量后继系统在新任务上的教学量、试错次数、干预需求和总成本并验证收益能否跨多个改进轮次持续。机器人之间交换经验也需要检验双方实际受益而不仅是共享表示。10综述本身的问题① ICL 的边界过宽统一性与概念辨识度存在张力。论文把固定参数下的示范条件化、历史状态估计、几何重放、检索和程序修订放进同一框架。这样能覆盖完整系统但它们实际获得的信息和执行的计算差异很大。作者已经区分任务选择、组合与规则推断但这一分层主要在后部展开。如果从开始就为每个方法标明“究竟学到了什么”会比仅强调参数固定更清楚。这不是说其定义错误而是说广义上下文适应不应轻易被读者理解为强意义上的新规则学习。② 分类便于理解但不足以直接指导选型。四类接口清楚地说明了迁移负担落在哪里却没有给出统一条件下的成本—性能比较。例如读者仍难回答示范极少时几何迁移和条件化策略如何取舍接触精度与响应时延要求提高后哪类更合适世界模型的额外推理成本何时能被收益抵消论文提供了大量机制分析但距离可操作的方法选择指南还有一步。③ 文献汇总丰富系统性检索的可复现性不够明确。论文统计了 412 项参考文献并指向 Supplement S1 中的条目记录和统计规则但在所提供 PDF 中我未看到完整的数据库、检索式、纳入排除标准及筛选过程。因此它更适合作为广覆盖的叙述性综述和研究框架。文献数量及类别比例不能直接视为领域全貌或路线优劣的统计证据。这里的判断限于提供的 PDF未核验外部补充材料。④ 定量证据主要来自异质研究不能支持统一排名。表 16 汇总了 14 组研究内部比较作者也明确说明这些是 within-study comparisons。各研究的机器人、执行器、任务难度、辅助信息和预算不同因此无法直接横向比较。例如部件迁移结果带有辅助部件对应条件一些模型比较采用包含人工恢复的逐步指标。这些结果有分析价值却不能概括成“某一路线普遍优于另一条”。论文对此相当谨慎但也意味着其结论主要是机制层面的综合而非严格的统一实证比较。⑤ 不同证据成熟度虽然被注明仍缺少统一分级。正文同时讨论真机实验、仿真、技术报告、定性案例和概念性未来实验。作者在多处标注了差别例如说明部分图是概念示意某些系统只有试点部分得到评估。但若增加统一证据表逐项标记是否真机、是否自主闭环、是否有上下文干预、是否有独立迁移测试会更容易判断结论有多强。⑥ S5、S6 的愿景比现有证据更成熟。论文正确地把“以后学得更好”作为自改进标准也承认现有结果的局限。不过将 S1–S6 并列展示仍容易让读者误以为它们构成已经验证的演进序列。更有说服力的呈现方式是明确区分已经充分展示的能力、局部证据支持的能力以及尚待验证的研究目标。⑦ 理论解释和工程可靠性仍有深化空间。论文引用了贝叶斯推断、元学习和类梯度下降等 ICL 解释也讨论了安全探测、不可逆操作与时延但没有形成统一的机器人 ICL 理论或可靠性框架。例如仍缺少对以下问题的系统回答需要多少示范才能识别某类任务如何量化教学歧义错误记忆如何影响闭环稳定性何时应拒绝迁移并请求新证据这篇综述最强的贡献是把“教学信息—控制接口—物理执行—经验复用”连接起来并提出严谨的评测问题。它适合用来建立研究图和设计实验对于哪条技术路线更优、机器人是否已经具备通用新规则学习能力现有汇总仍不足以下确定结论。