Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning
作者: Xinyang Gu, Yen-Jen Wang, Xiang Zhu, Chengming Shi, Yanjiang Guo, Yichen Liu, Jianyu Chen · RSS 2024
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。
一句话总结
DWL 在 Isaac Gym 中训练一个人形机器人行走策略，学习从含噪声的本体感觉中重建完整的机器人状态，然后不经修改地在真实 XBot 机器人上走过楼梯、斜坡和雪地。
为何重要
同一个策略只使用关节读数、IMU 数据、时钟信号和速度指令，不使用相机或 LiDAR，就零样本迁移到两种尺寸的人形机器人上，并应对了楼梯、斜坡、不规则块体、雪地、附加负载和推搡。对足式机器人工程师而言，它提供了一个具体方案：用产生动作的同一个网络来获得状态估计（基座速度、足部接触、粗略的地形轮廓）。它还给出了直接对比，表明主动控制的 2-DoF 踝关节在较难的地形上很重要。
问题
人形机器人重心高，腿部、躯干和手臂较重，且摆腿阶段不稳定；作者指出，以往用于人形机器人的真实世界 RL 控制器局限于相对简单的地形。在仿真中训练的策略还必须应对含噪声的传感器、不完美的仿真动力学，以及线速度和接触力等真实机器人无法测量的量。
提出的方法
去噪世界模型学习（DWL）将仿真到现实差距视为真实状态上的噪声：训练时它对不可观测量进行掩码并施加领域随机化，一个 GRU 编码器将观测历史压缩为 24 维隐变量，解码器必须从中重建完整状态，包括基座速度、摩擦、足部接触和地形高度扫描。执行器（actor）基于该隐变量输出动作，并用 PPO 训练，而非对称的评价器（critic）可以看到完整状态，去噪损失、策略损失和价值损失一起优化。该策略通过闭式运动链主动控制两个踝关节自由度，五次多项式足部轨迹则为柔和的足部接触提供稠密奖励。
关键见解
- 把仿真到现实差距建模为环境噪声、动力学噪声、传感器噪声和掩码噪声，并训练一个编码器-解码器来去除它，使策略内置了一个状态估计器。
- 仅凭本体感觉，隐状态就包含足够的信息来恢复粗略的地形高度轮廓、足部接触和基座速度，并且当机器人从斜坡走到楼梯时，步态会随之改变。
- 通过闭式运动链主动控制两个踝关节 DoF，在不规则地形和楼梯上起决定性作用；Isaac Gym 无法建模闭链，因此仿真两个虚拟电机，再将其目标值重映射到真实电机上。
- 沿规划好的五次多项式摆动轨迹奖励足部速度跟踪，而不是只依赖稀疏的接触力，可以在每一步都提供奖励信号，并鼓励轻柔着地。
主要结果
- 在 XBot-S 上，DWL 在斜坡、上楼梯、下楼梯和不规则地形上的成功率均为 100%；带踝关节控制的 PPO 分别为 80%、20%、60% 和 20%，采用被动踝关节的 DWL 分别为 80%、20%、100% 和 40%。
- 在所背的包中逐步加重至 15 kg（超过其体重的三分之一）时，机器人仍能继续行走；它能携带最多 20 kg 的额外负载行走，并能推动一辆装载 60 kg 的推车。
- 在 MuJoCo 仿真到仿真测试中，60 s 内的前向速度估计 MSE 为 0.046，欧拉偏航角估计 MSE 为 0.074；在真实机器人上，IMU 漂移降低了约 87%。
- 一个以 100 Hz 运行、配合 500 Hz PD 回路的策略，零样本迁移到 XBot-S（1.2 m，38 kg）和 XBot-L（1.65 m，57 kg）上，包括在水泥、砖地、土壤和雪地上的户外行走。
- DWL 执行器约有 320,192 个可训练参数，训练时使用了 12,288 个并行仿真环境。
局限
- 该策略不使用视觉输入；作者将加入视觉信息以在挑战性地形上导航留待未来工作。
- 作者表示，从本体感觉中精确预测地形形状仍然具有挑战性；只能恢复粗略的轮廓。
- 真实状态无法在真实机器人上测量，因此速度和偏航估计精度是在 MuJoCo 仿真到仿真迁移中检验的，而不是在硬件上。
- 基准对比只在手臂保持不动的 XBot-S 上进行，论文也没有说明每个成功率基于多少次试验。
- 只控制腿部：整个研究中手臂电机都保持静止。
对领域的影响
入围 RSS 2024 杰出论文奖决选，被引用 152 次。论文在附录中公布了完整的网络架构、奖励项、领域随机化范围和超参数，未说明是否发布代码、模型或硬件设计。
摘要
人形机器人具有类人的骨骼结构，特别适合在以人为中心的环境中执行任务。然而，这种结构给运动控制器设计带来了额外的挑战，尤其是在复杂的真实世界环境中。因此，现有的人形机器人无论采用基于模型的控制还是无模型强化学习，都局限于相对简单的地形。在这项工作中，我们提出去噪世界模型学习（Denoising World Model Learning，DWL），这是一个用于人形机器人运动控制的端到端强化学习框架，实现了世界上第一台能够驾驭真实世界挑战性地形的人形机器人，这些地形包括野外的雪地和斜坡、上下楼梯以及极度不平整的地形。所有场景都运行同一个学习得到的神经网络，并实现零样本仿真到现实迁移，表明所提方法具有出色的鲁棒性和泛化能力。
链接
- arXiv 2408.14472: https://arxiv.org/abs/2408.14472
- DOI 10.15607/rss.2024.xx.058: https://doi.org/10.15607/rss.2024.xx.058
- PDF: https://arxiv.org/pdf/2408.14472v1