黑盒优化做到一定程度都会遇到一个让人头疼的问题目标函数是个黑箱你只能不断喂参数进去看结果却完全不知道它内部的结构和梯度。传统贝叶斯优化在低维空间表现还不错可一旦维度上去高斯过程的拟合和采集函数的优化都会迅速变得不可靠。我最近在复现一篇2025年顶会上的工作它把能量模型EBM和强化学习一起塞进黑盒贝叶斯优化的框架用学习分布的思路替代拟合函数的思路实测效果出乎意料地好。这篇文章就把我读论文、复现代码、跑对比实验过程中的理解与踩坑记录下来适合正在做超参搜索、神经架构搜索、分子设计或者其他昂贵黑盒优化任务的朋友参考。1. 黑盒优化的老问题与新困境1.1 传统贝叶斯优化三板斧的边界经典的贝叶斯优化核心由三块组成代理模型通常是高斯过程GP、采集函数Expected Improvement、UCB、Thompson Sampling等、以及采集函数优化器。GP负责给目标函数做一个带不确定性的拟合采集函数在这个拟合结果上权衡探索和利用再用梯度优化或者随机搜索的手段找到下一个采样点。这套组合在维度低于20、目标函数相对平滑的场景下确实很能打很多自动化机器学习框架里超参搜索默认就是TPE或者GP-BO效果中规中矩。但问题在于它藏着两个隐形假设。第一GP是个平稳性很强的模型靠核函数来衡量点与点之间的相似度一旦目标函数在高维空间出现复杂的多模态结构固定核函数很难跟上真实的变化。第二采集函数自身的优化是一个非凸问题。EI或者UCB这类函数在高维搜索空间里局部极值点数量爆炸式增长用L-BFGS这类梯度方法找全局最优基本是缘木求鱼多起点随机搜索更像是碰运气。两个问题叠加导致传统BO在神经架构搜索、分子设计这类高维黑盒问题上表现很差。1.2 高维空间里的维度诅咒具体体现在哪可以做一个很直观的计算假设每个维度只需要均匀采样10个点20维搜索空间就是10的20次方个候选点这个量级下任何靠密度采样的方法都会直接失效。高斯过程还有一个更实际的问题——协方差矩阵求逆的复杂度是O(n^3)随着观测点数量增加每次迭代的成本会快速膨胀。加上GP后验在远离观测点的区域不确定性会变得巨大采集函数倾向于把样本往边界乱探导致实际采样效率非常低。这些低维情况下的小毛病在维度超过30甚至上百时会变成致命伤。学术界一直在寻找替代代理模型的方案比如随机森林、神经网络集成、深度核学习等但核心矛盾始终没变在观测数据非常稀疏的前提下怎么才能给出一个足够可靠的目标函数估计并且指引采样走向真正有价值的方向。我自己的经验是单纯把GP换成一个更强的回归模型往往只能改善拟合精度对样本效率的提升非常有限因为决策环节还在沿用老思路。1.3 一个思路转向从拟合函数到学习分布这篇工作的核心转向很有意思与其用代理模型直接拟合目标函数的具体数值f(x)不如把它看成在学习一个关于好样本的分布。也就是说我们不去预测某个点的函数值是多少而是回答什么样的x更有可能带来高回报。这个问题天然适合用能量模型来做——把目标函数值映射成一个能量标量再用能量分布去指导采样。这个转向和生成模型有相似之处但目标完全不同。生成模型关注的是数据结构本身而这里关注的是优化过程我们希望模型能持续给出一片有希望的采样区域而不是单纯地把训练数据复述一遍。能量模型恰好擅长这件事它对分布形态没有任何强约束能表示非常复杂的多峰分布这是GP做不到的。2. 能量模型进场把未知目标变成可学习的分布2.1 能量模型的基本假设与好处能量模型的基本形式是p(x) exp(-E_θ(x)) / Z其中E_θ是带参数的标量函数Z是配分函数。它不直接输出概率而是通过一个能量函数把样本映射成数值能量越低表示样本越符合目标分布。在黑盒优化场景里这个能量函数可以直接由目标函数引导——观测到的点如果有较高的目标函数值就把对应区域的能量压低也就是概率提高反之则推高。这个设计有两个直接的好处。一是能量函数没有任何结构限制可以是一层很深的网络甚至CNN、Transformer都能用不像GP那样受限于核函数的表达能力。二是它天然支持条件化如果想把不同的初始化区域、不同的任务约束纳入搜索直接把条件信息拼接进网络输入就行不需要重新设计整套代理模型。另一个容易被忽略的点是能量模型能给出隐式的多模态估计。高斯过程在拟合多峰函数时后验往往会被平滑成一个大包而能量模型可以同时在多个峰附近维持较高概率。高维搜索里最优解往往不止一个盆地能量模型的这种特性非常重要。2.2 训练损失与对比散度的实际处理能量模型的训练是经典难点因为配分函数Z没法直接计算。这篇工作用的是比较成熟的对比散度思路对每个观测到的正样本目标值较高的点用MCMC采样一批负样本然后通过梯度拉低正样本的能量、拉高负样本的能量。MCMC的采样器一般用随机梯度Langevin动力学SGLD每一步沿着能量函数的负梯度方向走一小步再叠加一点噪声。这里有一个很关键的实操细节SGLD的步长和噪声方差不能太大太大容易发散太小则负样本会挤在局部区域多样性不足训练出来的能量函数会失真。我在复现时把步长设在0.01附近噪声方差大约0.005再根据能量分布的梯度范数动态调整。初始阶段建议每回合跑50到100步SGLD后面可以逐步减少。由于MCMC本质上会在低能量区域聚集负样本最怕不够负——如果负样本本身就位于低能量区附近梯度方向就会混乱。还有一个常见的坑是正负样本不平衡。黑盒优化的初始观测点通常很少前几轮可能连一个高目标值的样本都没有。解决办法是先跑几轮随机均匀采样做热身攒够一批观测数据再开始训练EBM。论文里的初始化策略也是类似前5到10个点纯随机不会一上来就让模型在稀疏数据上硬训练。2.3 为什么比高斯过程更省计算高斯过程每加一个观测点就要重新算一次N×N核矩阵的求逆N到500以后单次更新的时间成本已经很难接受。而EBM的训练可以批量进行每轮直接把所有历史观测点喂进网络做梯度下降计算复杂度主要是网络的前向和反向传播和观测点数量是线性关系并且可以上GPU并行。我在模拟项目X上做过一组对比2000个观测点下GP的拟合时间已经到了没法用于交互式调参的程度EBM却还是秒级完成一个epoch的训练。对强调低延迟反馈或者超大规模采样池的优化场景来说这种计算模式的差异是决定性的。另外EBM天然支持增量更新每次拿到新的观测点后只需要在小批量数据上继续做几步梯度下降不像GP要重建整个协方差矩阵。3. 强化学习接管采样决策的动机与机制3.1 传统采集函数在多峰目标下的失灵现象经典采集函数EI的计算依赖于代理模型的不确定性估计。但EBM本身不直接输出方差沿用EI那套需要额外改造成本。更根本的问题是当搜索空间维度高、采集函数自身多峰时寻找下一个采样点变成了一次优化之上再做优化的高成本博弈。与其维护一套专门的采集函数优化器不如用一个强化学习智能体直接学习根据当前模型状态下一步该往哪里采样。另一个让我觉得这个替换合理的原因是传统采集函数在目标函数变化剧烈时几乎无法判断该探索还是该利用。EI倾向于在不确定性大的地方采样但这在高维空间往往就是远离观测样本的区域实际收益很低。RL智能体可以通过奖励信号直接学习这个权衡而不是靠手工设计的公式去逼近最优平衡。3.2 策略网络采样动作的本质这个智能体的输入是历史观测点及其目标值加上EBM拟合出来的能量景观输出是下一个采样点的坐标。它本质上是一个条件分布生成器用的是某种随机策略输出层通常加高斯噪声或者重参数化技巧。奖励设计是整个思路的灵魂如果新采样点的真实目标值比之前见过的最好值还高就给正奖励如果只是普通区域奖励接近0如果偏差给负奖励。用这类奖励训练出来的策略网络会逐渐学会避开能量高目标值差的区域主动往能量低的方向试探。这里有个值得注意的细节策略网络不是去直接输出一个固定点而是输出一个分布的均值和方差。均值代表当前策略认为最有希望的方向方差代表探索的幅度。随着训练推进方差会逐渐收敛但如果在后期方差被压得太小策略就容易失去跳出现有盆地的能力。3.3 奖励设计与样本效率之间的平衡如果奖励只盯是否超过历史最优策略很容易变得保守老是围绕已知好点附近小步探索多样性显著下降。所以我在复现时额外加了一个多样性奖励项如果新点离所有历史观测点的最小距离超过某个阈值就加一笔额外奖励。这个改动让收敛速度略微变慢但最终找到的最优值明显更优尤其是在多峰测试函数上。RL训练的另一面是样本效率。黑盒优化的核心约束就是真实评估次数很少不可能拿几千次真实评估去训练策略网络。因此这里不能从零开始on-policy跑几百轮而是要依靠EBM的梯度信息先给出一个不错的初始化行为再用几十轮策略梯度微调。换句话说强化学习在这个框架里不是主角而是决策增强器EBM负责对目标函数建模RL负责产出最终采样决策。这两者一旦职责颠倒整个管线很容易崩溃。4. 算法主循环与关键实现细节4.1 主循环的五个阶段整个算法运行起来是一个五阶段循环我按照自己复现时的顺序拆解一下初始化在搜索空间内用小规模拉丁超立方采样N0个点做真实评估。训练EBM用已有的观测点训练能量模型负样本用SGLD生成。生成候选点用当前策略网络或者直接对能量分布做梯度优化生成一批候选点。挑选最终采样点如果这一步用RL就让策略网络输出否则就用某种采集函数在候选点上排序。真实评估并回填把新点的真实目标值加入历史观测集更新EBM和策略网络回到第2步。阶段3和阶段4在论文里可能是统一流程但分开理解更容易消化。候选点的生成是为了保证多样性最终选点是决定下一步真实花代价评估哪一个。如果候选点生成这一步已经很强采集函数的选择压力就会小很多反过来如果候选点质量差后面的决策再聪明也没用。4.2 关键超参数与初始化策略的推荐值这部分是我实测下来一组比较稳的配置仅供参考具体还要看任务维度参数推荐值说明初始随机点数量10~20太少EBM没法学太多浪费真实评估EBM网络宽度/层数256×3中等规模即可太深容易过拟合稀疏观测SGLD步数50~100越少负样本越不准越多耗时越高策略网络更新频率每5轮真实评估更新一次太频繁策略没机会收敛EBM学习率1e-3初始阶段可以稍大后期调小策略网络学习率3e-4比EBM小否则策略会被奖励噪声带偏初始化策略需要格外留意。不要直接用均匀分布随机采样推荐先用拉丁超立方设计保证10个初始点在高维空间里尽量分散。均匀随机采样在高维经常聚团会让EBM初始训练时能覆盖的区域非常有限后面再怎么优化也容易被带偏。4.3 对比基线实验的设计细节复现这篇工作时对比实验建议至少覆盖三层第一层是普通GP-BO用EI采集函数第二层是TPE或者其他树类代理模型的BO第三层是带网格搜索或者进化算法的非贝叶斯方法。指标不要只盯最终最优值还要记录达到某个目标值所需的评估次数这是样本效率更直接的体现。如果只报最终最优值忽略中间过程随机初始化的差异很容易混进结论里。在模拟项目X上我做过一组测试一个50维的Rosenbrock变体函数GP-BO跑80次评估基本还在原地打转EBM加RL的组合大约在第35次评估时就已经逼近了已知最优区域。换成带多个局部极小值的测试函数时优势更明显GP-BO很容易掉进局部极值出不来而EBM的隐式多模态表示配合RL的探索奖励能比较稳定地跳出来。当然这些结果和具体函数形状相关建议每个做过复现的人都多跑几个函数形态不要拿单一benchmark下结论。5. 复现时容易踩的坑与部署建议5.1 EBM训练崩溃的典型症状复现中最容易遇到的问题是EBM训练loss一路乱跳能量函数发散。我总结了三种典型症状loss变成NaN、能量景观全部指向同一个区域、负样本全部坍缩到训练集附近这是记忆效应模型把观测点背下来了对未知区域毫无泛化能力。如果看到这些现象先不要怀疑算法本身优先检查三个位置一是真实目标值有没有做标准化能量函数的尺度对不齐时loss会非常不稳定二是SGLD的步长是不是已经失真步长太大很容易把MCMC样本推到低密度区导致梯度爆炸三是网络是不是过深三层256维就够了过深在稀疏观测下容易过拟合。当loss持续不降时我的做法是先暂停EBM的更新用随机采样代替模型指引跑几轮攒到一批新观测数据后再重新训练。这个回退到随机的机制在早期调试阶段帮了大忙模型一旦恢复稳定收敛速度会立刻回到正常水平。千万不要觉得回退到随机是在浪费时间很多时候模型已经崩了继续硬跑只会把后续采样全部带进垃圾区域。5.2 RL策略的探索-利用失衡问题另一个高频踩坑点是策略网络过早收敛到已知好点附近然后一直围绕那一点做微调哪怕真实目标函数在更远处还有一个明显更好的峰。这种探索-利用失衡在算法曲线上的表现是最优值曲线前期涨得很快但后期一直横盘。如果看到这种曲线不要急着调大探索噪声先检查奖励里有没有多样性惩罚项。我在实现里加了一个倒计时探索奖励每连续10轮没有产生新的历史最优就给策略网络一个正向bonus配合随机重启效果比单纯调大噪声稳健得多。还有一个容易被忽略的细节是策略网络的输入特征。直接把历史观测点的原始坐标和目标值一起喂进去网络很容易过拟合到近期几个点。更好的做法是把目标值标准化之后再输入并且把EBM的采样梯度也作为特征拼进去相当于给策略网络一个方向提示。我在调试中发现加入能量梯度特征后策略输出的稳定性提升非常明显尤其是在高维空间纯靠坐标输入很难让策略理解往哪个方向走是有希望的。5.3 实际部署时的推荐思路真正要把这套方法用到生产环境的黑盒优化任务上有几个建议很实际。首先是评估预算管理建议先规划好总评估次数把其中70%留给前中期后期收敛阶段一般不需要太多探索。其次是并行评估黑盒任务里最贵的往往是单次真实评估比如训练一个小型神经网络或者跑一次仿真所以能并行的就并行EBM和RL的训练完全可以放在GPU上等真实评估结果回来再更新。最后是退化回退策略如果发现EBM训练连续很多轮loss上升就不要继续用它的预测来指导采样了临时切回随机会话几轮等模型恢复稳定再继续。这个机制不仅适用于这篇工作任何带代理模型和决策模块的优化框架都建议加上。我在实际项目中遇到过模型持续崩溃但没有回退机制结果浪费了二十多次昂贵评估才反应过来代价非常高。包括这篇工作在内的很多新方法本质上都是在代理模型和采样决策这两个环节做替换升级。能量模型带来的核心优势是复杂分布建模能力与计算扩展性强化学习补足了传统采集函数在高维场景下的决策短板。但两者都不是银弹EBM的训练脆弱性、RL对奖励设计的敏感度都是实际落地时要面对的真实成本。先把这两个模块拆开理解清楚再考虑组合使用比直接端到端上手要稳妥得多。最后说一点我个人的体会。复现这类论文最大的收获不是那几行核心公式而是理解了两个环节在整体管线里的分工建模和决策是可以解耦的。你完全可以用能量模型拟合目标分布再用自己习惯的任一种采样策略来决策不一定非要搬强化学习。反过来如果已经有合适的采集函数换更强的代理模型同样可能大幅提升效果。建议自己做实验时把这两个模块拆开分别替换看看瓶颈到底在哪一环。我踩过几次坑之后发现很多优化问题迟迟没有进展不是模型不够强而是决策模块在瞎探索。先定位瓶颈再对症下药比盲目上复杂模型收益高得多。