论文AdaRSI: On-Demand Recursive Self-Improvement for Embodied AgentsNortheastern Univ. / AgiBot / UCAS2026.10一、核心问题具身智能体由两部分组成Harness编码智能体写的工具、技能和流程决定怎么调用执行器。Executor底层 VLA它的权重决定能做什么动作。现有的递归自我改进RSI方法大致分两类只改 harness成本低、可读、可回滚。但遇到 VLA 根本做不出的动作就卡住了。直接微调 VLA没有先判断失败的原因是调用方式不对还是动作能力缺失。如果是前者训练既浪费还可能让原本会做的子步骤变差。论文提出的核心问题是自我改进系统什么时候应该修改执行器的权重作者的回答是先做失败归因。只有在 harness 已经尝试过各种调用方式换指令、换站位、换接近方向之后仍然不可靠的子步骤才值得训练。如图AdaRSI概览二、方法系统写成 S (A, H, Π)A 是编码智能体GPT-6.1-sol CodexH 是 harnessΠ 是策略库初始只有 π₀ GR00T N1.5。优化目标是在部署成功率 J 高的同时让改进成本 C C_Htoken C_Π演示数据和 GPU低。如图AdaRSI 的流水线流程分四步Harness 改进2 轮智能体写工具例如精细定位、复位手臂、相机缩放再编排执行流程。在独立的验证场景上运行根据反馈修改。失败归因这是方法的关键。利用仿真器快照做反事实重执行从同一个状态出发换不同的指令或接近方式重试失败的子步骤。如果怎么换都无法让 π₀ 稳定完成就把这个子步骤标为executor-limited。按需训练1 轮权重轮只针对上一步选出的子步骤自采演示。方式有两种对 π₀ 做拒绝采样或由智能体编写一个读取特权状态的脚本专家。从harness 实际会把机器人带到的状态开始微调。在留出的初始状态上和 π₀ 做配对比较只有更好时才推荐使用新策略其他情况默认仍用 π₀。4. 跨任务递归先在 pilot 任务上无预算地改进总结出一份经验文档和训练预算规则供后续任务使用。部署时一个新的智能体实例在线读取流程、调用工具和策略不使用任何特权信息。三、主要实验结果RoboCasa36550 个目标任务无人类演示方法Atomic-SeenComposite-SeenComposite-UnseenGR00T N1.575.443.04.6Agent VLA72.243.65.9Agent harness78.348.09.9AdaRSI79.749.013.8几个关键发现Harness 贡献了大部分提升。在 Composite-Unseen 上从 4.6 提到 9.9 不需要任何训练权重轮再加 3.9 个百分点。和 Always train每个子步骤都训练比AdaRSI 只用了 28% 的 GPU 时间、22% 的演示成功率还略高13.8 vs 12.6。配对子步骤测试Tab. 4很有说服力。π₀ 做不了的动作微调后明显提升例如开微波炉门从 0/18 到 7/18。π₀ 已经会做的动作微调后反而变差例如放牛角包从 16/40 降到 11/40。这直接支持按需训练的论点。Harness 决定了从哪里训练。在 WaffleReheat 上Agentweights 和 AdaRSI 都训练了开门策略但只有 AdaRSI 的训练起点是 harness 实际到达的位姿结果 38% 对 4%。Lowest first 基线Tab. 8按π₀ 成功率最低的子步骤优先训练选出的子步骤和 AdaRSI 大部分相同但成功率是 11.8 对 16.6。说明归因不仅决定训练什么还决定从哪些状态学。四、贡献问题刻画清楚把何时改权重明确为一个失败归因问题区分了调用方式不对和动作能力缺失两种失败而这两种需要不同的处理。这个视角对具身 RSI 领域有启发性。方法可操作用仿真快照做反事实重执行来归因用特权状态脚本专家自采演示再把新策略和 π₀ 配对验证后才采用。整个流程都不需要人类演示。实验证据扎实在 RoboCasa365 全部 50 个任务上评测开发、验证、测试场景互不重叠。消融比较全面agentweights、always train、fixed procedure、w/ π₀、lowest first并且画出了成本—成功率的帕累托图。有价值的经验发现微调可能损害执行器已经掌握的能力。harness 的作用不只是提升成功率还决定了策略的训练状态和调用状态。部署时在线自适应很重要固定流程只有 6.9%。5. 在成本上做了显式权衡把 token、演示数量、GPU 时间都计入成本而且连训练了但没被采用的策略也算在内。五、不足1. 绝对性能仍然很低统计显著性存疑Composite-Unseen 最终只有 13.8%。16 个任务里约一半所有方法都接近 0Tab. 2。约 3 倍提升的说法建立在很低的基数上。每个任务只测 50 个场景没有报告多个随机种子或置信区间。AdaRSI 和 Always train 的差距是 110/800 对 101/800 次成功很可能不显著。所以略高且更省中更省站得住略高不一定。单任务波动很大。例如 CuttingToolSelection 加上权重轮后从 50% 降到 36%说明验证集上的选择不够稳健。2. 归因依赖 LLM 的判断缺乏定量评估一个子步骤是否 “executor-limited”由智能体判断找不到任何让 π₀ 成功的 harness。这本质上是有限尝试后的启发式结论没有给出归因准确率比如假阳性、假阴性的分析。作者也承认开发集上的收益到测试集不一定成立OpenDrawer、CuttingToolSelection验证场景数量有限存在过拟合风险。3. 严重依赖仿真特权信息迁移到真机的难度被低估快照回滚、成功检测器、物体位姿和铰接状态都来自仿真。归因反事实重执行和数据采集脚本专家这两个核心环节都依赖它们。在真机上从同一状态重试几乎做不到。作者在 Limitations 里说真机上成本更高只会更支持按需训练。但更关键的问题是归因机制本身在真机上可能无法成立。目前也没有任何真机实验。自采演示中的脚本专家实际上是 LLM 编写的、使用真值位姿的规划器相当于特权蒸馏。说无人类演示没错但它对仿真的依赖不能轻描淡写。4. 推理和改进成本很高对实时部署不友好每个任务的改进阶段要消耗约 154M 输入 token。部署时每个 episode要 4.2M 输入 token虽然 97% 是缓存命中而且依赖前沿闭源模型 GPT-6.1-sol。文中的成本主要比较的是 GPU 时间。和纯 VLA 相比部署时的延迟和 API 成本没有被充分讨论。固定流程只有 6.9%说明性能很大程度上依赖在线的大模型智能体。5. 泛化性验证不足只测了一个执行器GR00T N1.5、一个基准RoboCasa365、一个编码智能体。在其他 VLAπ₀.5、OpenVLA或其他 LLM 上能否成立结论未知。没有和同期的具身 RSI 方法直接对比例如 EmbodiedRSI、HarnessPAI、ENPIRE、Self-evolving coding agents。所有比较都是作者自己的变体。6. 递归的程度有限实际只有 2 轮 harness 改进加 1 轮权重改进。跨任务递归也只是 pilot 任务产出的一份经验文档和一条预算规则。没有展示随轮数增加的改进曲线也没有说明多轮下会收敛还是退化。Recursive 这个说法有些超出实验所支撑的范围。7. 策略库的可扩展性每个子步骤训练一个独立的微调策略库会随任务数线性增长没有讨论如何合并回统一模型。部署时智能体可以绕过推荐策略、自行调用其他策略这也带来了不确定性作者自己也提到了这一点。六、总体评价这篇论文的核心价值在于提出了一个清晰的原则先改 harness再按归因结果有选择地改权重并且用配对子步骤测试、Lowest first 对照、成本—成功率帕累托分析等设计较有说服力地支持了这个原则。它更像一篇问题定义加经验规律的工作而不是性能突破绝对成功率仍然很低。关键机制快照式反事实归因强依赖仿真。统计稳健性和外部基线对比都不够。