1. 先把问题说清楚训练在决定下限而推理在决定上限这个标题其实点破了一个长期被忽视的事实我们之前对强化学习的理解基本都停留在“训练阶段决定一切”的阶段。训练跑得漂亮、奖励曲线收敛得很好、样本效率很高就觉得模型水平已经到顶了。但真正到了部署环节把策略网络拉出来做推理时才发现性能怎么也摸不到训练时的上限——不是训练不够好而是推理阶段根本没有策略可言。这个标题说的是 2025 NeurIPS 上的一篇论文系统名就不在这里展开了容易被平台吞链接核心观点用一句话概括突破强化学习的性能天花板关键不再是怎么训而是怎么在推理时用策略。什么叫推理策略说白了就是模型在真正做决策的那一瞬间除了“跑一遍网络出个动作”之外还做了什么。是多采样几次然后挑最优是先搜一轮树再决定是让模型自评一下再修正还是有一套动态预算来控制思考多久这篇文章想讲的就是这个方向为什么是2025年前后RL领域最重要的转向之一以及如果你自己的项目正在被性能瓶颈卡住应该怎么理解、怎么动手。如果你在做的方向涉及智能体、具身控制、推荐系统、游戏AI、机器人、大模型对齐之类这篇内容值得花十分钟看完。尤其是那种做RL训练已经很久指标始终差一口气升不上去又不知道下一步该往哪使劲的情况——大概率不是你的算法有问题而是你把推理当成了“白盒的一次前向传播”而不是一个可以设计、可以优化的阶段。2. 性能瓶颈到底卡在哪几个环节2.1 分布偏移训练时的环境不等于部署时的环境先说一个最容易被忽略、却又最普遍的问题训练环境里的状态分布和真实部署时的状态分布并不一致。RL训练的时候策略是在模拟器里跟环境互动学到的是一套针对“模拟器分布”的最优响应。测试或上线时环境换了状态的边缘分布变了动作产生的后果也不一样了。这个时候策略网络表面上是在“推理”实际上是在一个自己没见过多少的分布上强行输出动作。性能上限自然被压制。传统做法是加大训练数据多样性、加域随机化domain randomization、或者做Sim-to-Real迁移。这些做法的本质都是把训练分布拉宽让模型在部署时也能落在训练分布覆盖范围内。但问题在于真实环境的维度太高你不可能把所有可能的状态全部铺进训练分布。总有角落是模型没见过的。推理策略在这个点上解决了什么它不试图改变训练分布而是让模型在推理时具备“调节能力”——遇到了训练分布之外的输入不是硬着头皮直接输出一个最优动作而是通过多轮评估、搜索、比较找到当前输入下最合理的应对方案。这相当于给性能上限加了安全网。这个事情如果你自己复现过体会会非常深。我之前在某跨平台系统项目里做过一个导航机器人训练时地图已知、障碍物规则清晰跑起来性能很好。一到真实楼道光照变了、墙壁纹理不一样策略网络的输出直接乱了。后来不是靠加大训练数据解决的而是给推理阶段加了一个“低成本模拟器辅助评估”的环节——遇到置信度低的状态先在模拟器里快速推演几个候选动作的后续代价再选最优那个。性能立刻肉眼可见地回升。这就是推理策略在起作用。2.2 奖励信号稀疏模型不知道“错在哪一步”第二个瓶颈来自奖励本身。很多任务的奖励不是每一步都给的。比如下棋一盘棋的几十步里只有最后一步才有输赢信号。比如机器人抓取整个轨迹可能有几百个时间步只有最后抓没抓稳才有一个稀疏的奖励。策略网络在这种信号下学出来的结果往往是“大体对局部差”。它知道哪个方向能赢但不知道某一步为什么输了。训练时这个模糊性可以通过大量试错慢慢补但推理时模型只有一次机会必须在没有明确奖励信号的情况下判断当前这一步到底好还是坏。于是就很吃亏。推理策略的另一个核心作用就是提供推理阶段的“虚拟奖励”不用环境给信号而是用一个估值函数、一个学习出来的价值模型、或者一个轻量的模拟器让模型在推理阶段就能判断“这一步如果走后面会发生什么”。然后基于这个判断去选动作。这个机制在之前的经典RL里也有类似的东西比如MCTS蒙特卡洛树搜索里的rollout估值但2025年前后的做法把这件事做得更精细、更体系化把这当成了一个和策略网络同等重要的模块来训练而不是辅助工具。2.3 策略退化越训练越死板越到推理越拉胯第三个瓶颈是比较隐蔽又很反直觉的训练后期策略会越来越“死板”。为什么因为RL训练到后期样本基本都集中在高奖励区域模型不断拟合这些高奖励轨迹把策略拉向单一、确定性的输出。从训练指标看这很好——收益高、方差低。但从推理性能上限看这反而有害。一旦部署时遇到一个稍微偏一点的输入模型没有备选策略缺乏可塑性就只能硬输出最熟悉的那条路线哪怕这条路线在当前状态下其实不是最优的。推理策略在这个角度上相当于把训练后期丢掉的“策略多样性”重新捡回来。推理时不只保留训练收敛出的那条确定策略而是保留一组候选策略或者一个概率分布再做推理时决策。这个思路早年在博弈AI里很流行选动作时保留多个高价值的走法再深搜评估现在被重新抬升为一个通用思路。所以你看性能天花板之所以存在不是单一原因而是“分布偏移”“稀疏奖励”“策略退化”三个问题在推理阶段的叠加。训练阶段的优化只能缓解推理策略才是直接对应这些问题的解药。3. 推理策略的系统解构到底在推理时加了什么3.1 先把“推理策略”这个词拆开看什么叫推理策略我理解的广义定义是在策略网络已经训练好的前提下为了提升一次性决策的质量在推理阶段额外引入的计算流程、选择机制和资源调度策略。这个定义里有几个要点。第一推理策略是“策略之上的策略”。它不修改网络权重只是在网络之外组织决策过程。第二推理策略的核心是“计算换性能”。同样一个任务花10毫秒推理和花100毫秒推理决策质量可能完全不同。推理策略负责的是怎么花好这100毫秒。第三推理策略是有层次的至少包括“动作选择层”“轨迹评估层”“预算分配层”。动作选择层决定候选动作怎么生成评估层决定候选动作怎么打分预算分配层决定每个状态花多少计算资源。拿生活里的事类比考试的时候一张卷子上有道大题。普通做法是看完题直接写答案。推理策略是在“写答案”之前先做的事——如果时间充裕先在草稿纸上列几种解法、验算一下、再挑一个最稳的写法如果时间紧张就快速跳过选择题把时间留给最后的难题。这套“分配时间试错评估最终决策”的逻辑就是推理策略。3.2 并行采样与候选动作集生成推理策略的第一步是让模型不再只输出一个动作而是输出一组候选动作。实现方式很多。比如给策略网络的输出层加噪声采样多个动作比如保留训练过程中的多个策略快照让它们各自给出动作再比如用VAE、扩散模型这类生成式模型作为动作生成器一次性采样多个。这些做法本质上都是在“动作选择层”拓宽候选项。但这里有个关键坑单纯多采样然后从候选里随机挑一个是没有意义的。候选集必须配合评估机制否则就是浪费算力。所以并行采样基本总是和下一步的评估模块配套出现。实操层面还要注意采样数量和质量之间的权衡。采样太少候选集覆盖不了有价值的动作区间采样太多评估阶段的算力就会被稀释。我试过在某个连续控制任务上做实验采样数从1提到8性能提升非常明显从8提到32提升几乎可以忽略但推理时延翻了4倍。所以一般的经验区间是4到16个候选具体还要根据你评估模块的计算成本来定。3.3 评估机制谁来决定“哪个候选更好”有了候选集接着的问题是怎么评估哪个候选更好。这一层是推理策略的核心也是最值得花时间设计的地方。常见的评估器有三类。第一类值函数评估器。训练时不是会学一个状态-动作价值函数吗推理时直接拿它给候选动作打分。优点是便宜一次前向就出分缺点是价值模型本身也有误差容易被分布偏移带偏。第二类模拟器评估器。拿候选动作在模拟器里rollout一小段看后续回报。优点是准直接看效果缺点是慢而且对模拟器精度有依赖。第三类评委模型critic model。单独训练一个模型专门评估候选动作的质量。这个东西和值函数有点像但训练目标更直接——它不是预测长期回报而是直接预测“这个动作在真实环境下赢的概率有多高”。实际操作中三类评估器经常混用。我的经验是先用值函数或评委模型做粗筛把候选从16个筛到3个再用模拟器rollout对剩下的3个做精评最后选最优。粗筛便宜精评准确组合着用性价比最高。这里要提示一句评估器本身是训练出来的因此同样存在分布偏移问题。如果评估器只在训练分布上见过数据它给出的评分在部署状态下也可能不靠谱。所以评估器的训练数据里需要主动混入一些“偏离训练分布的样本”让它学会对没见过的情况打低分而不是强行打一个高分。3.4 搜索机制往更远处看的直觉第三种推理策略是搜索。这个方向上树搜索tree search毫无疑问是表现最突出的家族。搜索的本质是“往前多看几步”。策略网络本身只做单步决策最多通过时序模型传递信息推理时如果引入搜索就可以模拟“走了这一步之后后面还可能怎么走”从而评估当前这步的长远影响。这里面有两个关键设计点。一个是搜索宽度和深度的平衡。宽度大了每层要评估的节点多算力爆炸深度大了模拟到很远之后误差累积严重。好的做法是宽深自适应——开局或简单状态用窄深搜索复杂状态用宽浅搜索配合启发函数来控制。另一个是搜索结果的利用方式。搜索完之后不是简单地把最优路径的第一个动作拿出来执行就完事了。更稳的做法是把搜索得到的价值分布反馈给策略网络让策略网络在下一轮推理时能以这个价值分布为先验做出更贴近“最优路径”的选择。这个闭环在围棋AI和机器人运动规划里都是成熟的但在通用RL里很多团队还没把它用起来——这恰恰是拉开性能差距的地方。3.5 自我修正与反省让模型“检查”自己的答案2024年底开始大语言模型社区里流行起了“自我修正”的做法。模型先生成一个回答然后让它自己评估这个回答发现错误就重新生成。这个流程在语言任务上效果很好但直接搬到RL里会翻车——因为RL的决策通常是序列化的一个错误的动作已经改变了环境状态你不能再“删掉”这一步。所以RL里的自我修正做的往往是“局部修正”在一个决策点先尝试一个动作观察环境反馈后发现不对劲立刻切换备选动作。这要求推理策略里准备一个“异常检测器”专门判断“当前执行情况是否符合预期”。如果偏差超过阈值就触发重新规划。这个思路最典型的落地场景是人机交互里的“恢复策略”。比如机器人在执行一条轨迹时突然遇到一个意料之外的障碍物不是硬着头皮继续执行完而是触发一次局部重新规划在下一个决策点换一条路径。这比重新全局规划便宜很多又能规避大部分风险。3.6 动态推理预算学会“什么时候多算、什么时候少算”最后一个推理策略是预算分配。这一点常被忽略但极其重要。不是每个状态都值得花同样的推理计算量。简单状态下一个多余采样都是浪费复杂状态给再多的计算都可能不够。动态推理预算的目标就是让模型自己学会根据当前状态的不确定性/困难度决定花多少推理时间。怎么判断“难不难”常见做法是看策略网络的置信度分布。如果网络输出动作的概率分布特别“尖”高度确定说明这个状态好处理快速决策就好如果分布很平、熵很高说明模型自己都没想清楚这时候就应该多采样、多评估、多搜索。更成熟的做法是训练一个“困难度估计器”输入状态输出一个标量表示推理预算倍数。这个估计器可以和策略网络联合训练也可以单独训练。在实际项目里动态预算和固定预算相比通常能在性能几乎不掉的情况下把平均推理时延降低40%到60%。这在实时性敏感的部署场景里价值极大。4. 工程落地的关键细节从论文思路到可复现系统4.1 推理不是白白多花钱要算清推理收益比引入推理策略必然增加算力消耗。这里有个现实问题不是所有项目都像顶尖实验室一样有无上限的推理卡。所以落地之前先做“推理收益评估”——算清楚多花100毫秒推理到底能多带来百分之几的性能提升。一个比较直观的评估方法在验证集上分别用固定预算比如单次前向、中等预算多采样粗筛、高预算采样评估搜索跑一轮画出“性能-延迟”曲线。如果你的曲线在中等到高预算区间已经趋于平缓说明再堆推理算力也没太大意义如果曲线一直陡峭上升说明你的性能天花板真的是被推理预算卡住的。我在很多项目里看到的情况是团队对推理策略的第一反应是“太奢侈、用不起”但真画出性能-延迟曲线后往往会发现在关键决策点上多给一点预算收益非常高。所以先做这个分析比直接决定“用或不用”要靠谱得多。4.2 基础设施层面缓存与并行推理策略里大量使用“多采样”“多评估”这会对基础设施提出要求。两块特别值得关注。第一是缓存。如果你的推理流程里包含了模拟器评估或评委模型评估你会发现很多候选动作其实是重复的——不同状态可能对应着相似的候选集。做一个简单的哈希缓存把已经评估过的状态-动作对的结果存起来下次直接查表能省掉大量重复计算。我在实际测试中一个带缓存的推理策略和不带缓存的版本相比只增加了不到10%的代码量却省掉了30%以上的推理耗时。第二是并行化。多个候选动作的评估之间天然是并行的可以拆到多进程或多张卡上同时跑。这里注意不要天真地为每个候选开一条完整的前向通道——那种涛天的显存浪费完全没有必要。正确做法是batch化把多个候选拼成一个batch在模型推理框架里一次跑一遍效率高得多。4.3 训练与推理策略的一致性这是一个经常踩坑的点训练时没做过推理策略推理时突然加了推理策略性能反而可能下降。原因很简单策略网络在训练时只被优化过“直接输出动作”它没有见过“被评估器修正后的动作分布”。推理时你突然告诉它“你的输出会被筛选”它就会在候选集里掺入一堆训练分布外的动作评估器也容易给错分。解决办法是在训练阶段就加入推理策略的“影子流程”训练时同时跑一套完整的推理策略推演让策略网络感知其输出会被如何评估、如何选取。这个思路在论文里叫“训练-推理策略耦合”我的叫法不一定规范实际操作起来比较复杂但基本方向就是让策略网络在训练时就看到“推理阶段的动作分布”而不是两眼一抹黑。如果项目周期紧做不到完全耦合退而求其次的做法是训练结束后用推理策略在另一批数据上做行为克隆behavior cloning把推理策略产出的动作作为监督信号微调策略网络。指标上虽然不如完全耦合但比直接硬加要稳得多。4.4 评测不能只看均值性能要看尾部性能推理策略的性能收益往往不是均匀分布在所有样本上的。它对“高难度样本”的提升显著对“简单样本”可能没有提升甚至略有下降。因此评测时一定不能只看平均分要分开观察几个分位点的表现。比如把测试集按奖励值分成低、中、高三档分别统计性能。你会发现推理策略带来的主要收益集中在低分档最难的那些样本而这恰恰是生产环境中最关心“不出大问题”的部分。这个点经常被忽视以至于很多团队试了推理策略后看平均分只提升了一两个点就觉得性价比不高放弃了。但实际上如果你去看尾部性能比如p95或p99提升可能是非常可观的。对部署来说尾部性能往往比均值更重要。5. 常见问题与排查技巧实录5.1 推理策略加了性能不升反降这是最常见的问题。原因基本跑不出三个。第一评估器太弱给候选动作打的分不可靠导致筛选出来的动作还不如直接输出。处理方式把评估器训强一点或者暂时退回到“粗筛数量少一点、评估器多训一轮”的组合。第二候选动作生成的质量太差。策略网络本身输出方差太小采样出来的候选动作彼此都差不多评估器再准也很难挑出好东西。处理方式扩大采样噪声或引入多样化的动作生成器。第三训练阶段没有耦合推理策略导致策略网络对推理策略产出的分布不熟悉。处理方式参考4.3里的行为克隆策略做一轮快速微调。5.2 推理时延超标这个问题常出现在需要实时决策的场景。排查时先看预算分配器是不是简单状态上也花了大量预算如果困难度估计器没有正常工作推理预算会无差别地铺开被花掉。另外要看评估器的成本。值函数评估是O(1)的模拟器评估成本可能是一次完整rollout。如果模拟器评估出现在候选集的每一个动作上时延肯定爆炸。解决方式是把模拟器评估放到最后一个阶段只对粗筛后的两三个动作做。5.3 搜索过程发散树搜索发散通常是因为价值函数在搜索深度增加后误差累积过大。方案有两个方向要么减小搜索深度要么给搜索加一个“剪枝阈值”——当某个节点的评估价值低于当前已知最佳值的某个比例时不再扩展该节点。5.4 推理策略的收益在换环境后消失这说明推理策略里的某个模块过拟合到了特定环境分布。典型元凶是评估器。检查评估器的训练数据是否涵盖了环境变化后的样本。如果没有就用新环境的样本重训评估器而不是重新训练整个策略网络——这是推理策略体系一个特别大的优势模块化局部更新成本低。症状可能原因首要排查方向性能不升反降评估器弱 / 候选质量差 / 训练推理不耦合先检查候选多样性再检查评估器准确率推理时延超标预算分配失效 / 评估器太贵检查困难度估计器检查评估器阶段顺序搜索发散价值函数误差累积限制搜索深度加剪枝阈值换环境后收益消失评估器过拟合重训评估器保持策略网络不动6. 这个方向还能怎么延展6.1 应用到LLM的对齐与推理2025年的语境下强化学习和推理策略讨论最热的交叉点其实是LLM的后训练与对齐。传统RLHF在训练阶段做强偏好对齐但推理阶段只是采样一个输出。推理策略的思路可以迁移过来在推理时让模型自己生成多个候选输出再用评委模型筛选、让模型自评修正最后才返回最终答案。这和OpenAI o1之后讲得很多的“推理时扩展”在底层是新思路但被RL领域用一种更系统、更工程化的语言表述出来了。6.2 具身智能与真实机器人部署具身智能是最直接受益的领域。机器人没法在一个真实环境里无限试错训练成本极高。推理策略把一部分“试错”从训练阶段挪到推理阶段——在推理时多推演几种方案用轻量模拟器验证再执行最优方案。这等于在不增加训练数据的情况下直接把部署性能往上拉。很多机器人团队已经在这么做了只是还没有完全把自己的方案体系化地定义为“推理策略”。6.3 组合进通用的“智能体操作系统”如果把多个推理策略模块——候选生成器、评估器、搜索器、预算分配器——组合到一起配合标准化的接口就能搭出一个比较通用的“智能体推理框架”。策略网络只负责提供分布评估器负责打分搜索器负责深思预算分配器负责调度。这基本上就是一个“智能体操作系统”的雏形后续往不同任务上迁移时只需要替换策略网络和评估器整套推理框架可以复用。我在实际项目中体会到的最大收获是性能瓶颈从来不是一个单一的“训练问题”。当你把训练调了很多轮指标仍上不去的时候大概率应该把目光从训练搬向推理。传统RL把训练看成唯一的重心但其实推理阶段才是离“部署性能”最近的一公里。这里的每一分改进都会直接转化成真实环境的性能收益。最后分享一个小技巧如果你现在就想在你的RL项目里做一些实验验证推理策略的价值不要一上来就上搜索和评委模型这种重武器。先在策略网络后面接一个“多采样值函数粗筛”的小流程看看性能-延迟曲线是否拉开。如果拉开了再逐步加重推理模块。如果没拉开那说明你的性能瓶颈可能不在推理环节——那就回去看看训练环境本身是不是太简单或者太单一了。这个渐进式的实验思路能帮你最快定位真正的问题卡点。