此论文研究移动机械臂导航避障相关问题顶层使用末端执行器运动生成器文中是A*实际可以是任意算法主要作用是给出一条期望的末端执行器路径对于此生成器来说环境应该是已知的下层采用目标强化学习主要用来控制底盘速度以及避障同时考虑底盘的移动能否使逆运动学IK求解得到机械臂末端执行器的的期望位姿对于强化学习来说其对于环境是部分可知的仅限于输入的2D体素地图。同时使用IK求解机械臂的姿态。文章贡献1、我们将存在障碍物情况下移动操作任务的运动学可行性约束满足问题构建为强化学习问题。2、我们提出了一种反应式方法用于在非结构化障碍地图上为任意末端执行器运动学习互补的移动机械臂基座运动。不预先做全局规划而是根据观测立即输出基座运动可以对动态障碍物实时响应。环境未知且存在障碍物。学习互补的基座运动文中的强化学习本质上是让基座能够到达让逆运动学IK求解出期望末端执行器的位置的地方末端执行器负责完成任务操作强化学习智能体去学习配套的底座移动让基座跟着机械臂动作协同运动保证整套全身运动满足运动学约束、不碰撞让机械臂的目标运动能够落地可行。3、我们开发了一个程序生成的训练任务以及一种生成末端执行器运动的方法该方法可用于运动学和驱动模型差异极大的各类移动机械臂。4、我们在针对未见过的环境、障碍物和任务的大量模拟与真实世界实验中验证了我们方法的性能。学习运动学可行性的基座控制N²M² 采用目标条件 SAC 强化学习框架。策略网络输入为机器人局部占据栅格地图、当前与期望末端执行器位姿、期望末端速度、末端子目标、机器人关节状态以及上一步动作网络输出为基座速度、躯干升降关节速度和末端执行器速度缩放系数。强化学习策略不直接控制机械臂关节机械臂关节由 BioIK 逆运动学求解器根据基座状态与缩放后的末端期望运动求解得到。基于 IK 求解得到的末端位姿误差、碰撞、末端速度与动作平滑项计算稠密奖励用于更新强化学习策略。