Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning

著者: Xinyang Gu, Yen-Jen Wang, Xiang Zhu, Chengming Shi, Yanjiang Guo, Yichen Liu, Jianyu Chen · RSS 2024

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

DWL は Isaac Gym で、ノイズを含む固有受容感覚からロボットの全状態を再構成するよう学習するヒューマノイドの歩行ポリシーを学習し、それを変更なしに実機の XBot ロボットで階段、斜面、雪の上で実行する。

重要な理由

同じポリシーが、カメラや LiDAR を使わず、関節の読み取り値、IMU データ、クロック信号、速度指令だけを用いて、2 つのサイズのヒューマノイドにゼロショットで転移し、階段、斜面、不規則なブロック、雪、追加の荷重、押しに対応した。脚型ロボットのエンジニアにとっては、行動を生成するのと同じネットワークから状態推定（ベース速度、足の接触、大まかな地形形状）を得るための具体的な手法となる。また、より難しい地形では能動的に制御される 2-DoF の足首が重要であったことを示す直接的な比較も示している。

課題

ヒューマノイドは重心が高く、脚、胴体、腕が重く、遊脚相が不安定であり、著者らは、ヒューマノイド向けの従来の実世界 RL コントローラが比較的単純な地形に限られていたと述べている。シミュレーションで学習したポリシーは、ノイズの多いセンサ、不完全なシミュレーションのダイナミクス、そして実機では計測できない並進速度や接触力といった量にも対処しなければならない。

提案手法

Denoising World Model Learning（DWL）は sim-to-real ギャップを真の状態に加わるノイズとして扱う。学習時には観測できない量をマスクしてドメインランダム化を適用し、GRU エンコーダが観測履歴を 24 次元の潜在表現に圧縮し、デコーダはそこからベース速度、摩擦、足の接触、地形の高さスキャンを含む全状態を再構成しなければならない。アクターはこの潜在表現に基づいて行動し PPO で学習され、非対称なクリティックは全状態を参照し、デノイジング、ポリシー、価値の各損失が同時に最適化される。ポリシーは閉じた運動連鎖を介して足首の両方の自由度を能動的に制御し、5 次多項式の足先軌道が柔らかな接地のための密な報酬を与える。

主な知見

• sim-to-real ギャップを環境、ダイナミクス、センサ、マスキングのノイズとしてモデル化し、それを除去するエンコーダ・デコーダを学習させることで、ポリシーに状態推定器が組み込まれる。
• 固有受容感覚のみから、潜在状態は大まかな地形の高さ形状、足の接触、ベース速度を復元するのに十分な情報を持ち、ロボットが斜面から階段へ移ると歩容も変化する。
• 閉じた運動連鎖を介して足首の両方の DoF を能動的に制御することが、不整地と階段で決定的であった。Isaac Gym は閉リンクをモデル化できないため、2 つの仮想モータをシミュレーションし、その目標値を実際のモータに再マッピングしている。
• 疎な接触力だけに頼るのではなく、計画した 5 次多項式の遊脚軌道に沿った足の速度追従に報酬を与えることで、毎ステップ報酬信号が得られ、穏やかな接地が促される。

主な結果

• XBot-S では、DWL は斜面、階段の上り、階段の下り、不整地のすべてで 100% 成功した。足首制御ありの PPO はそれぞれ 80%、20%、60%、20%、受動的な足首の DWL は 80%、20%、100%、40% であった。
• ロボットは、背負った袋に最大 15 kg（体重の 3 分の 1 超）を段階的に追加しても歩き続け、最大 20 kg の追加荷重を持って歩き、60 kg を積んだカートを押した。
• MuJoCo での sim-to-sim 試験では、60 s にわたる前進速度推定の MSE は 0.046、オイラー角のヨー推定の MSE は 0.074 であった。実機では IMU のドリフトが約 87% 減少した。
• 100 Hz で動作し 500 Hz の PD ループを用いる 1 つのポリシーが、XBot-S（1.2 m、38 kg）と XBot-L（1.65 m、57 kg）にゼロショットで転移し、セメント、レンガ、土、雪の上での屋外歩行も行った。
• DWL のアクターは約 320,192 個の学習可能パラメータを持ち、12,288 個の並列シミュレーション環境で学習された。

制限事項

• ポリシーは視覚入力を使わない。著者らは、困難な地形でのナビゲーションのための視覚情報の追加を今後の課題としている。
• 著者らは、固有受容感覚から地形形状を正確に予測することは依然として難しいと述べており、復元されるのは大まかな形状のみである。
• 実機では真の状態を計測できないため、速度とヨーの推定精度はハードウェア上ではなく MuJoCo での sim-to-sim 転移で確認された。
• ベンチマーク比較は腕を静止させた XBot-S でのみ行われ、論文は各成功率が何回の試行に基づくかを記載していない。
• 脚の制御のみである。研究全体を通じて腕のモータは静止させたままであった。

分野への影響

RSS 2024 Outstanding Paper Award のファイナリストであり、被引用数は 152 である。論文は付録でネットワーク構造の全体、報酬項、ドメインランダム化の範囲、ハイパーパラメータを公開している。コード、モデル、ハードウェア設計の公開については述べていない。

概要

人間に似た骨格構造を持つヒューマノイドロボットは、人間中心の環境でのタスクに特に適している。しかしこの構造は、特に複雑な実世界環境において、ロコモーションコントローラの設計にさらなる課題をもたらす。その結果、既存のヒューマノイドロボットは、モデルベース制御であれモデルフリーの強化学習であれ、比較的単純な地形に限られている。本研究では、ヒューマノイドのロコモーション制御のためのエンドツーエンドの強化学習フレームワークである Denoising World Model Learning（DWL）を紹介する。これにより、屋外の雪に覆われた傾斜地、階段の昇り降り、極めて凹凸の激しい地形など、実世界の困難な地形を踏破する世界初のヒューマノイドロボットを実証する。すべてのシナリオで同じ学習済みニューラルネットワークをゼロショットの sim-to-real 転移で実行しており、提案手法の優れた頑健性と汎化能力を示している。

リンク

• arXiv 2408.14472: https://arxiv.org/abs/2408.14472
• DOI 10.15607/rss.2024.xx.058: https://doi.org/10.15607/rss.2024.xx.058
• PDF: https://arxiv.org/pdf/2408.14472v1