Learning Vision-Based Bipedal Locomotion for Challenging Terrain

著者: Helei Duan, Bikram Pandit, Mohitvishnu S. Gadde, Bart van Marum, Jeremy Dao, Chanho Kim, Alan Fern · ICRA 2024

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

シミュレーションで訓練した RL ポリシーと、深度画像から高さマップを得る予測器により、二足ロボット Cassie は大域的なオドメトリも実世界でのファインチューニングもなしに、ブロック、階段、0.5 m の段差を越える。

重要な理由

システム全体がオンボードで動作し、大域的な姿勢を推定しない。これにより、地面を強く頻繁に踏みつける脚ロボットによくある失敗要因が取り除かれる。著者らはこれを、困難な地形における視覚ベースの二足移動の初の sim-to-real 実証と報告しており、転移を成功させるのにどの訓練上の選択が必要だったかを記録している。

課題

二足ロボットの RL コントローラはこれまでほとんどが盲目的で、固有受容感覚だけに頼っていた。そのため地形を予測できず、遊脚の軌道を高くとる攻撃的な歩容になりがちである。モデルベースの知覚パイプラインは問題を全身制御、足場計画、オドメトリ、地形マッピングに分割するが、大域座標系で構築した地図は、頻繁な接触と激しい動きによる姿勢推定誤差とともにドリフトする。

提案手法

ロボットの浮遊ベースに対して表した 1.5 m × 1 m、解像度 5 cm の高さマップを入力として、MuJoCo 上で PPO により移動ポリシーを訓練する。これは事前学習済みの LSTM による盲目的ポリシーと、歩容周波数と脚ごとの位相シフトも調整する視覚ベースのモジュレータを組み合わせたものである。別の高さマップ予測器（LSTM の段に続いて U-Net による精緻化の段）を 30,000 のシミュレーションエピソードで訓練し、自己中心視点の深度画像の履歴とロボット状態をその高さマップに写像する。ダイナミクス、トルク効率、遅延、高さマップのノイズ、深度画像のノイズをドメインランダム化することで、両方のネットワークを実機へ移す。

主な知見

• 高さマップをロボットの局所座標系で表すことで、ポリシーは大域的なマッピングやオドメトリなしに地形へ反応できる。実機では、カメラからもう見えなくなった地形の上でもポリシーは遊脚を正しく置いており、著者らはこれをポリシーが内部的にオドメトリを保持していると解釈している。
• 地形サンプリングの構成（主にブロック、尾根状の地形、階段）は、ヒューリスティックな報酬項を加えるよりも効果的に、頑健で攻撃的でない歩容を形づくった。階段は歩幅を、尾根状の地形は足上げの高さを調整する。
• 足の衝突ペナルティがないと、ポリシーはシミュレーションでは同程度の成功率に達したが、衝突をフィードバックとして利用した。例えば垂直面に沿って足を滑らせ上げるといった動作である。その結果として頻発するつまずきが sim-to-real 転移を妨げた。
• トルク効率のランダム化は、膝モーターが飽和する 0.5 m の段差で特に重要だった。
• 学習した歩容クロックと、特権入力（大域的な足位置、各足の周囲の高さマップ、足先の距離計）を与えたクリティックは、どちらもシミュレーションの困難な地形設定での成功率を高めた。

主な結果

• 実機で Cassie は、単一の高いブロック、階段、ランダムなブロック、0.5 m の段差（脚長の約 60%）を最大 1 m/s の速度で越え、人がトレッドミル上にブロックを置いていく間も速度と進行方向を維持した。
• シミュレーションでの高さマップ再構成誤差（MAE）：LSTM 2.806 cm、トランスフォーマー 4.221 cm、MLP 4.932 cm、ロボット状態なしの LSTM 4.448 cm。
• 閉ループのシミュレーションでは、どの高さマップ予測器も成功率は同程度だったが、LSTM 予測器は足の衝突が起きたエピソードと衝突による終了が最も少なかった。
• ロボット上では深度ストリームが 90 FPS で動作し、高さマップの推論単体は Jetson Orin Nano 上で 200 Hz で動作した。予測器とポリシーの間のエンドツーエンド遅延は最大 20 ms と測定された。
• シミュレーションのアブレーション（地形モードごとに 1000 エピソード）では、学習したクロックがないポリシーや特権クリティックがないポリシーは困難な地形での成功率が著しく低く、盲目的ポリシーが最も悪かった。

制限事項

• 前向きのカメラ 1 台しか使わないため、尾根状の地形、階段、ブロックの地形での速度指令には後退歩行と横歩きが含まれない。
• 自己中心視点のカメラはロボットの真下の地面を見られないため、足元の地形はポリシーがすでに見た情報から対処するしかない。
• 実機の結果は定性的にのみ示されている（実験室の木製ブロック、階段、トレッドミル、投稿動画）。論文は実世界での成功率を示していない。
• 訓練と評価の地形は、平地、丘、ブロック、尾根状の地形、階段という手続き的に生成された 5 種類に限られる。
• 足の衝突ペナルティはソフト制約としてのみ働き、ポリシーは転倒を避けるためにそれを破ることがある。

分野への影響

IEEE ICRA 2024 Best Paper Award in Cognitive Robotics のファイナリストで、被引用数は 98。論文は公開されたコード、データ、ハードウェア設計へのリンクを示していない。

概要

二足移動（ロコモーション）のための強化学習（RL）は近年、固有受容感覚のみを用いて中程度の地形で頑健な歩容を実現している。しかし、こうした盲目的なコントローラは、ロボットが局所的な地形を予測して適応しなければならない環境では失敗する。それには視覚的な知覚が必要だからである。本論文では、指令された進行速度と方向を維持しながら、二足ロボットが局所的な地形に反応できる、完全に学習ベースのシステムを提案する。我々の手法では、まずロボットの局所座標系で表した高さマップを用いて、シミュレーションでコントローラを訓練する。次に、シミュレーションでデータを収集して高さマップ予測器を訓練する。その入力は深度画像とロボット状態の履歴である。適切なドメインランダム化を行えば、この手法は明示的な姿勢推定も実世界データによるファインチューニングもなしに、sim-to-real 転移を成功させられることを示す。我々の知る限り、これは困難な地形における視覚ベースの二足移動について sim-to-real 学習を行った最初の例である。

リンク

• arXiv 2309.14594: https://arxiv.org/abs/2309.14594
• DOI 10.1109/ICRA57147.2024.10611621: https://doi.org/10.1109/ICRA57147.2024.10611621
• PDF: https://arxiv.org/pdf/2309.14594v2