1. 从零搭建人形模仿学习框架为什么我最终选了DeepMimicAMP这条路线人形模仿学习这个方向我前后折腾了差不多一年半。最开始是从最朴素的运动重定向加PD控制入手的后来逐步过渡到DeepMimic那套参考运动跟踪的思路再到现在主流的AMPAdversarial Motion Priors加上teacher-student蒸馏框架。这一路踩的坑实在太多所以决定把整个技术路线的选型逻辑、核心实现细节和实操中反复翻车的经验整理出来。这篇文章面向的是已经有一定强化学习基础、想把人形机器人的模仿学习真正跑起来的人。不管你是做科研、做demo还是准备往产品方向落地这里面的思路和代码结构都能直接参考。我不会只讲概念重点放在“为什么这么设计”和“实际怎么调”上。先说清楚这个框架能干什么给定一段或者几段参考运动数据动捕、视频提取、手工K帧都行让一个人形模型在物理仿真环境里学会像人一样走、跑、跳、转身并且能通过一个高层控制器在不同技能之间平滑切换。核心模块包括运动重定向与数据预处理、AMP判别器驱动的对抗式模仿、teacher-student知识蒸馏做策略压缩、以及VQVAE做运动潜空间编码。这几个东西不是简单堆叠而是有明确的上下游关系。1.1 为什么放弃纯运动学方案转向物理仿真一开始我也试过纯运动学的方式就是把动捕数据直接重定向到人形骨架上播放。这种做法在视觉上看着还行但一碰到接触、碰撞、外力扰动就完全崩了。脚会穿地、身体会飘、稍微加个外力整个人就飞出去。原因很简单运动学方案没有物理约束它只是在“播放动画”不是在“控制一个真实的物理系统”。物理仿真下的模仿学习就完全不一样了。策略网络输出的动作是关节力矩或者目标关节角度仿真器负责积分出真实的运动状态。这样学出来的策略天然具备抗扰动能力脚底接触是真实的重心变化是物理一致的。代价就是训练难度陡增因为策略需要同时学会保持平衡和跟踪参考运动。注意如果你只是想做视觉展示运动学方案确实更快更省事。但只要涉及sim-to-real或者任何需要物理交互的场景物理仿真路线是绕不开的。1.2 DeepMimic的核心思路与它的局限DeepMimic的核心思想其实很直接把参考运动当作一个“目标轨迹”策略网络的任务就是让当前状态尽可能接近参考状态。奖励函数通常由几部分组成——关节角度误差、关节速度误差、末端执行器位置误差、根节点朝向误差再加上一个存活奖励。这套方法在单个技能上效果很好比如学走路、学跑步、学后空翻。但它有几个明显的短板。第一奖励函数需要针对每个技能手工设计权重换一个动作就得重新调。第二它只能跟踪已有的参考运动没法生成新的、参考数据里没有的运动风格。第三多个技能之间的切换需要额外设计状态机或者门控机制不够优雅。我在实际项目里最深的一个体会是DeepMimic的奖励权重极其敏感。关节角度项的系数稍微大一点策略就会僵硬地贴着参考轨迹走失去自然性系数小一点又会偏离参考太远动作完全走样。这个平衡点每个动作都不一样调起来非常痛苦。1.3 AMP带来的范式转变用判别器替代手工奖励AMPAdversarial Motion Priors的出现基本解决了上面说的奖励设计问题。它的核心思路是不再手工设计“什么样的运动是好的”而是训练一个判别器来区分“策略生成的运动”和“参考数据里的运动”。策略的目标就是骗过判别器让判别器认为它生成的运动和真实动捕数据一样自然。这个转变非常关键。判别器本质上在学习参考数据的运动分布策略在对抗过程中逐渐逼近这个分布。你不需要再为每个技能单独设计奖励权重只需要提供参考数据判别器会自动提取出“自然运动”的特征。实际实现上AMP的判别器输入通常是单帧或者几帧的状态特征包括关节角度、关节速度、末端位置、根节点线速度和角速度等。判别器输出一个标量表示输入运动是“真实”的概率。策略的对抗奖励就是让这个概率尽可能高。但这里有个容易忽略的细节判别器的输入特征设计直接决定了它学到的是什么。如果你只给关节角度它学到的就是关节空间的分布如果你加上根节点速度它才能学到运动的速度特征。我建议至少包含关节角度、关节速度、根节点高度、根节点线速度和角速度这几项。1.4 teacher-student蒸馏为什么成为标配AMP训练出来的策略通常很大输入是完整的状态信息包括参考运动的所有帧、地形信息、外力信息等推理频率也高。这样的策略在仿真里跑没问题但要部署到真实机器人上就很不现实——计算资源有限传感器信息也不完整。teacher-student框架就是来解决这个问题的。Teacher策略是AMP训练出来的那个大模型拥有完整信息。Student策略只接收真实机器人上能获取的观测比如IMU、关节编码器、历史动作序列通过知识蒸馏的方式去模仿teacher的行为。蒸馏的过程通常是让teacher在仿真里跑收集大量的student观测teacher动作配对数据然后监督学习训练student。但这里有个坑——如果只是简单地做行为克隆student在遇到teacher没见过的状态时会崩。所以实践中通常会加入DAgger式的在线修正让student自己跑teacher在旁边纠正。1.5 VQVAE在运动生成中的角色VQVAEVector Quantized Variational Autoencoder在这个框架里主要负责运动潜空间的构建。它的作用是把高维的连续运动序列压缩成离散的潜码这样后续的高层控制器就可以在离散空间里做规划或者切换。具体来说VQVAE的编码器把一段运动序列映射成一组离散码本索引解码器再从这些索引重建运动。训练好之后你可以把参考运动库里的所有运动都编码成离散序列然后训练一个自回归模型或者Transformer来预测下一个潜码从而实现运动的生成和组合。这个模块不是必须的但如果你想让系统具备“自主生成新运动”的能力而不只是模仿已有数据VQVAE是一个很实用的工具。它的离散化特性也让运动风格的插值和组合变得更容易控制。2. 核心模块拆解与关键实现细节2.1 运动重定向从动捕数据到仿真人形运动重定向是整个流程的第一步也是最容易被低估的一步。动捕数据通常是BVH格式或者SMPL格式骨架结构和你的仿真人形模型不一定一致。重定向的目标是把源骨架的运动映射到目标骨架上同时保持运动的语义不变。我常用的做法是分两步走。第一步是骨骼长度和关节轴向的对齐这一步是纯几何的通过计算源骨架和目标骨架的关节位置关系来建立映射。第二步是运动语义的保持比如脚底接触、重心轨迹、手臂摆动幅度这些特征需要在重定向后仍然合理。实际操作中我建议用SMPL格式作为中间表示。因为SMPL的骨架定义比较标准而且有大量的工具链支持。从BVH转到SMPL再从SMPL转到你的仿真人形这样每一步都有成熟的库可以用。实操心得重定向后的数据一定要做可视化检查。我遇到过很多次重定向后脚底穿地、膝盖反向弯曲的问题如果不检查直接拿去训练策略学出来的动作会很诡异。重定向完成后还需要做数据清洗和插值。动捕数据通常有噪声和丢帧需要用低通滤波或者样条插值做平滑。另外根节点的位移需要根据脚底接触做修正避免脚底滑动。2.2 AMP判别器的网络结构与训练技巧AMP判别器的网络结构通常不会太深三到五层MLP就够了。输入维度取决于你选的状态特征一般在50到100维之间。输出是一个标量logit经过sigmoid之后表示“真实”的概率。训练判别器的时候正样本来自参考运动数据负样本来自策略当前生成的rollout。损失函数用的是标准的二分类交叉熵但有一个重要的细节需要对判别器的输出做梯度惩罚gradient penalty防止它过拟合到参考数据的特定样本上。我试过不加梯度惩罚的版本判别器很快就学会了“记住”参考数据的具体帧导致策略稍微偏离参考就被判为假训练完全没法进行。加上梯度惩罚之后判别器被迫学习更平滑的决策边界泛化能力明显提升。另一个关键点是判别器的更新频率。如果判别器更新太快它会变得太强策略的对抗奖励信号就消失了。如果更新太慢判别器又跟不上策略的变化。实践中我一般让判别器和策略的更新频率保持在1:1到1:3之间具体取决于任务的难度。2.3 策略网络的设计输入输出与网络容量策略网络的输入通常包括当前帧的状态、参考运动的目标帧、以及一些辅助信息比如地形高度图、外力估计等。输出是目标关节角度或者关节力矩维度等于人形的自由度数量。网络容量方面我建议至少用两层256维的MLP复杂动作可能需要三层512维。但也不要盲目加大因为teacher策略最终要蒸馏到studentteacher太大蒸馏难度也会增加。激活函数用ReLU或者ELU都可以输出层通常用tanh把动作限制在合理范围内。如果输出的是关节角度tanh的输出范围要缩放到关节的实际活动范围如果输出的是力矩范围要根据电机的实际能力来定。注意策略网络的输出频率和仿真步长需要匹配。如果仿真步长是1/240秒策略输出频率是30Hz那中间需要做动作保持或者插值。这个细节如果处理不好策略学出来的动作会有明显的抖动。2.4 teacher-student蒸馏的具体流程蒸馏的流程我一般分成三个阶段。第一阶段是数据收集让训练好的teacher在仿真里跑各种场景记录下每个时刻的student观测和teacher动作。第二阶段是监督训练用这些配对数据训练student网络损失函数就是动作的均方误差。第三阶段是在线修正让student自己跑teacher在相同状态下给出动作继续用这些数据微调student。第一阶段的数据量很关键。我的经验是至少需要几百万个状态-动作对覆盖尽可能多的状态分布。如果只收集teacher正常行走的数据student在遇到扰动时就不知道怎么恢复。第三阶段的在线修正可以显著提升student的鲁棒性。具体做法是让student和teacher同时跑每隔一段时间比较两者的动作差异如果差异超过阈值就用teacher的动作来纠正student。这个过程类似于DAgger但实现上更简单。2.5 VQVAE的码本设计与训练稳定性VQVAE的码本大小通常选512到1024每个码向量的维度在32到64之间。码本太小会导致运动重建质量差太大又会导致码本利用率低很多码向量根本不会被用到。训练VQVAE最头疼的问题是码本坍缩——大部分输入都被映射到少数几个码向量上。解决这个问题有几个常用技巧使用EMA更新码本而不是梯度更新、加入commitment loss、以及使用随机重启机制把不活跃的码向量重新初始化。我自己的经验是commitment loss的系数设在0.25左右比较合适。太小了编码器输出和码向量之间的差距会很大太大了又会限制编码器的表达能力。另外训练初期可以先用较大的码本训练稳定后再做码本剪枝。3. 完整实操流程从数据准备到策略部署3.1 环境搭建与依赖选择仿真环境我主要用Isaac Gym和MuJoCo两套。Isaac Gym的优势是GPU并行可以同时跑几千个环境训练速度极快。MuJoCo的优势是物理精度高接触模型更准确适合做最终的验证和sim-to-real。Python环境建议用3.8到3.10PyTorch版本2.0以上。Isaac Gym需要单独安装它对CUDA版本有要求我一般用CUDA 11.8。MuJoCo从3.0版本开始已经开源直接pip install mujoco就能用。人形模型方面我建议从Unitree H1或者Berkeley Humanoid的URDF开始改。这些模型的关节定义和惯量参数都比较合理省去了很多调试时间。如果你要自己建模型一定要注意碰撞体的简化否则仿真速度会非常慢。3.2 参考运动数据的采集与预处理参考数据的质量直接决定了最终策略的上限。我一般从三个来源获取数据公开的动捕数据集比如CMU MoCap、AMASS、自己用动捕设备采集、以及从视频中提取。公开数据集的好处是量大、动作丰富但需要做重定向和清洗。自己采集的好处是动作风格可控但成本高。从视频提取的话现在有一些开源方案可以做单目或者多目的姿态估计但精度和稳定性还不太够适合做补充数据。预处理流程我固定为格式转换→骨骼对齐→运动重定向→低通滤波→脚底接触修正→根节点轨迹平滑→分段和标注。每一步都有对应的脚本整个流程跑下来大概需要几个小时到一天取决于数据量。实操心得脚底接触修正这一步千万不要省。我早期偷懒跳过这一步结果策略学出来的走路动作脚底一直在滑动看起来像在冰面上走。修正的方法是根据脚底高度和速度判断接触状态然后在接触期间把脚底位置锁定。3.3 AMP训练的参数配置与调参经验AMP训练的核心超参数包括判别器学习率、策略学习率、对抗奖励权重、判别器梯度惩罚系数、以及环境数量。我的常用配置是判别器学习率3e-4策略学习率1e-4到3e-4对抗奖励权重0.5到1.0梯度惩罚系数10.0。环境数量在Isaac Gym里一般设4096MuJoCo里设64到256。调参的顺序我建议是先固定判别器只训练策略的跟踪奖励让策略能基本跟上参考运动。然后加入判别器从较小的对抗权重开始逐步增加。如果一开始就把对抗权重设得很大策略会完全忽略跟踪奖励学出来的动作虽然自然但完全不匹配参考。训练过程中要监控几个关键指标判别器准确率、策略的跟踪误差、以及episode return。判别器准确率维持在0.6到0.8之间比较健康太高说明判别器太强太低说明判别器太弱。3.4 蒸馏数据的收集与student训练Teacher训练好之后就可以开始收集蒸馏数据了。我一般会设计多种场景来收集数据正常行走、不同速度的跑步、受到随机推力、不同地形高度、以及技能切换的过渡段。每个场景跑几千个episode总共收集几百万到上千万个状态-动作对。数据存储用HDF5格式方便后续读取和分batch。Student网络的训练就是标准的监督学习。损失函数用MSE优化器用Adam学习率从1e-3开始逐步降到1e-5。Batch size设4096到8192训练几个epoch直到验证集损失不再下降。注意Student网络的输入一定要和真实机器人上的观测完全一致。我见过有人训练时用了仿真里的完美速度信息部署到真机上发现根本没有这个传感器整个策略就废了。所以从一开始就要明确student的观测空间。3.5 策略部署与实时推理优化部署到真实机器人上时推理速度是第一个要解决的问题。Student网络虽然比teacher小很多但在嵌入式平台上跑还是需要优化。我常用的手段包括把PyTorch模型转成ONNX或者TensorRT、做INT8量化、以及减少网络层数。推理频率一般控制在50到100Hz太低会导致控制不平滑太高又浪费计算资源。观测的预处理和后处理也要尽量轻量避免在推理循环里做复杂的计算。安全方面一定要加动作限幅和紧急停止机制。策略输出的关节角度或者力矩要经过一层安全检查超出合理范围就截断。另外建议先用一个简单的PD控制器做底层跟踪策略只输出目标关节角度这样即使策略输出异常底层控制器也能保证机器人不会做出危险动作。4. 常见问题与排查技巧实录4.1 训练不收敛的典型原因训练不收敛是最高频的问题。我遇到过的原因大概有这么几类奖励尺度不对、判别器太强或太弱、参考数据质量差、以及网络初始化不好。奖励尺度问题最常见。如果跟踪奖励和对抗奖励的量级差太多策略会完全偏向其中一方。我的做法是把两项奖励都归一化到相近的量级比如跟踪奖励用指数形式对抗奖励用log形式。判别器太强的话策略的对抗奖励会一直是负的梯度信号很弱。这时候可以降低判别器的学习率或者增加梯度惩罚系数。判别器太弱的话策略会生成很离谱的动作但判别器还是给高分这时候要增加判别器的更新频率或者网络容量。4.2 动作抖动与不自然的排查思路动作抖动通常有几个来源策略输出频率和仿真步长不匹配、动作没有做平滑、以及观测里有噪声。我一般的排查顺序是先检查策略输出频率确保和仿真步长有整数倍关系。然后检查动作是否做了低通滤波如果没有就加上。最后检查观测里的速度信息如果是差分算出来的噪声会很大需要用滤波器或者用历史帧做平滑。动作不自然的话大概率是参考数据的问题。把参考数据可视化出来看看如果参考数据本身就有问题策略学出来的动作肯定也不自然。另外判别器的输入特征如果太少它学到的运动分布就不完整策略可能会生成一些判别器没覆盖到的奇怪动作。4.3 sim-to-real迁移中的坑Sim-to-real最大的坑是物理参数不匹配。仿真里的摩擦系数、关节阻尼、电机响应特性和真机都有差异。我一般会在训练时做域随机化把摩擦系数、质量、电机延迟等参数在一定范围内随机化让策略学会适应这些变化。另一个坑是观测延迟。真机上的传感器读取和通信都有延迟如果训练时没有模拟这个延迟策略在真机上会震荡。解决方法是在观测里加入历史帧让策略能从历史信息中推断当前状态。实操心得我一般会在仿真里加一个随机的观测延迟范围在0到20毫秒之间。这样训练出来的策略对延迟的鲁棒性会好很多。另外执行器的建模也很重要简单的力矩控制模型和真实的电机响应差距很大建议至少加一个一阶延迟环节。4.4 常见问题速查表问题现象可能原因排查方法解决方案训练不收敛奖励尺度失衡打印各项奖励的数值范围归一化奖励调整权重动作抖动输出频率不匹配检查策略频率和仿真步长调整频率或加插值脚底滑动接触修正缺失可视化脚底接触状态加入接触锁定判别器准确率过高判别器太强监控判别器loss降低学习率或加梯度惩罚Student性能下降观测空间不一致对比训练和部署观测统一观测定义真机震荡观测延迟测量实际延迟加入历史帧和延迟随机化码本坍缩VQVAE训练不稳定统计码本使用率加commitment loss和随机重启技能切换不平滑缺少过渡数据检查切换时的状态分布加入过渡段训练数据4.5 独家避坑技巧汇总第一个技巧是关于参考数据的。我建议至少准备三套不同风格的参考数据正常速度、慢速、以及带扰动的。这样训练出来的策略泛化能力会好很多。如果只有一套数据策略很容易过拟合到那个特定的运动风格上。第二个技巧是关于判别器输入的。除了常规的关节角度和速度我强烈建议加入根节点的高度和朝向。这两个信息对判别器判断运动是否自然非常关键。没有高度信息的话判别器无法区分“正常行走”和“蹲着走”。第三个技巧是关于蒸馏的。在收集蒸馏数据时我一般会让teacher在训练时的噪声分布下跑而不是在完全确定性的环境下跑。这样收集到的数据覆盖更多状态student的鲁棒性更好。第四个技巧是关于VQVAE的。如果你发现重建的运动丢失了高频细节可以尝试增加码本大小或者减少下采样率。另外在解码器里加入残差连接可以显著提升重建质量。第五个技巧是关于部署的。在真机上跑之前一定要在仿真里做大量的压力测试包括突然的外力、传感器故障、以及极端的地形。我一般会设计几十个测试场景每个场景跑几百次确保策略在各种情况下都不会崩溃。4.6 性能优化的几个实用手段训练速度方面Isaac Gym的GPU并行是最大的加速手段。如果环境数量从1024增加到4096训练时间大概能缩短到三分之一。但要注意显存限制环境太多会导致OOM。推理速度方面模型量化是最有效的手段。INT8量化可以把推理速度提升两到三倍精度损失通常在可接受范围内。另外把多个小算子融合成一个大的算子也能减少推理开销。数据加载方面用HDF5或者LMDB格式存储蒸馏数据比直接读CSV快很多。另外用多进程做数据预处理和加载可以避免GPU等数据的情况。5. 框架扩展与进阶方向5.1 多技能组合与运动规划单个技能训练好之后下一步自然是多技能的组合。我目前的方案是用一个高层控制器在VQVAE的潜空间里做规划根据当前状态和目标指令选择合适的潜码序列然后解码成参考运动给低层策略跟踪。这个方案的好处是技能切换很平滑因为潜空间是连续的不同技能之间的过渡可以通过插值实现。另外高层控制器可以用简单的搜索或者强化学习来训练不需要重新训练低层策略。5.2 从仿真到真机的完整链路完整的sim-to-real链路包括仿真训练→域随机化→蒸馏压缩→真机部署→在线微调。每一步都有对应的工具和流程。在线微调这一步很多人会忽略但其实很重要。真机上的物理特性和仿真总有差异部署后收集一些真机数据做微调可以显著提升性能。微调的时候学习率要设得很小避免破坏已经学好的策略。5.3 当前框架的局限与改进思路当前框架最大的局限是对参考数据的依赖。如果参考数据里没有某个动作策略就学不会。虽然VQVAE可以做一定程度的组合生成但生成的运动质量还是不如真实数据。另一个局限是计算资源需求大。AMP训练加上蒸馏整套流程跑下来需要几十个GPU小时。对于资源有限的团队可能需要考虑更轻量的方案比如用单技能DeepMimic加状态机切换。改进思路方面我比较看好用扩散模型做运动生成替代VQVAE的角色。扩散模型生成的多样性更好而且训练更稳定。另外用世界模型做模型-based的强化学习也是一个方向可以显著提升样本效率。5.4 我个人的一些经验体会最后分享几个我在实际项目中反复验证过的经验。第一参考数据的质量比数量重要。十段高质量的重定向数据比一百段粗糙的数据效果更好。第二判别器的设计比策略网络的设计更关键。判别器学到的运动分布决定了策略的上限。第三蒸馏的时候不要只做行为克隆一定要加在线修正。第四部署前一定要做充分的压力测试真机上出问题的代价比仿真里大得多。这个方向变化很快新的方法层出不穷。但底层的逻辑是不变的好的参考数据、合理的奖励设计、稳定的对抗训练、以及鲁棒的蒸馏和部署。把这几个环节都做扎实人形模仿学习的效果就不会差。