Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Robot Parkour Learning

著者: Ziwen Zhuang, Zipeng Fu, Jianren Wang, Christopher Atkeson, Sören Schwertfeger, Chelsea Finn, Hang Zhao · CoRL 2023

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

2 段階の RL（まず通り抜けられる障害物、次に実際の衝突）で 5 つのパルクールスキルを学習させ、DAgger でそれらを 1 つの深度画像方策に蒸留して、低コストの Unitree A1 と Go1 ロボットのオンボードで実行する。

重要な理由

方策は低コストの四脚ロボット上で、オンボードの計算、オンボードの深度センシング、オンボードの電源だけで動作し、参照動作データは不要である。同じ学習パイプラインで 2 種類のロボット（A1 と Go1）を動かしている。著者らの比較では、そもそも登りと跳躍を学習可能にしたのはソフト制約による事前学習だった。

課題

パルクールでは、ロボットが障害物を知覚し、高速で多様な俊敏なスキルの中から選択する必要がある。しかし従来の学習手法では、多様だが視覚をもたないスキルか、視覚に基づくが特化したスキルのいずれかしか得られず、多数の項からなる報酬関数や、自己中心視点の視覚を含まない動物のモーションキャプチャデータを用いていた。低コストの小型ロボットでは、障害物が体の大きさに比べて大きく、オンボードの深度知覚は高速な動きの間に遅れが生じ（1 m/s で 0.2 s の遅れは 0.2 m の誤差になる）、パルクールはモータを限界まで酷使する。

提案手法

各スキル（登る、跳ぶ、くぐる、傾く、走る）は、特権的な障害物情報と、1 m/s 付近の前進速度、機械的エネルギー、生存についての 1 つの報酬を用いて、IsaacGym 内で PPO により学習させる。第 1 段階では障害物を通り抜けられるようにし、自動カリキュラムのもとで貫通の体積と深さにペナルティを課す（直接コロケーション法に着想を得たソフトなダイナミクス制約）。第 2 段階では実際の衝突ありでファインチューニングする。その後 DAgger で 5 つの専門方策を、固有受容感覚と 48×64 の深度画像を入力とする 1 つの GRU 方策に蒸留し、整合させた深度の前処理と 25 Nm のトルク制限を用いて展開する。

主な知見

  • 学習の初期にロボットが障害物を通り抜けられるようにし、貫通ペナルティと自動カリキュラムを組み合わせることで、探索の問題が解決する。これがない場合も、RND による探索ベースラインでも、登りや跳躍はまったく学習されなかった。
  • 前進の進捗、機械的パワーの二乗、生存ボーナスからなる 1 つの報酬で 5 つのスキルすべてが得られ、スキルごとの報酬調整も動作データも不要だった。
  • 方策には記憶が必要である。登るときには後脚が以前の深度画像で見た障害物の寸法に基づいて動く必要があるため、MLP 方策が失敗する場面でも GRU 方策は成功する。
  • DAgger で行動空間において蒸留することで、ネットワークの重みが異なる専門方策を 1 つの視覚方策に統合できる。RMA 方式の潜在空間での蒸留ではこれができない。
  • 深度画像はシミュレーション（クリッピング、ガウスノイズ、ランダムなアーティファクト）と実カメラ（クリッピング、穴埋め、空間・時間フィルタ）との間で整合させた。登りに失敗したときに再挑戦する振る舞いが、プログラムしていないのに現れた。

主な結果

  • 実機 A1 の屋内テスト、設定ごとに 10 試行：0.40 m（ロボットの高さの 1.53×）の登りで成功率 80%、0.60 m の隙間（ロボットの長さの 1.5×）の跳躍で 80%、0.2 m（ロボットの高さの 0.76×）の下をくぐるので 90%、さらに体を傾けて 0.28 m の隙間をすり抜けた。A1 内蔵の MPC コントローラを含め、比較したすべての手法の中で最良だった。
  • 蒸留したパルクール方策のシミュレーションでの成功率（100 試行 × 3 シード、テスト用の障害物は学習時より難しい）：登り 86%、跳躍 80%、くぐり 100%、傾き 73%、走行 100%。
  • シミュレーションでのベースライン：Blind は登り・跳躍・傾きで 0%、くぐりで 13%。MLP は登り 0%、跳躍 1%。No Distill は登り・跳躍・傾きで 0%。RMA は傾きでのみ実行し 74%。
  • ソフトなダイナミクスによる事前学習で学習させた専門オラクルは、登り・跳躍・くぐり・傾きの平均成功率が約 95% に達した。これがない場合、登りと跳躍は 0% だった。
  • 屋外では、ロボットは 2 つの石の腰掛けの間の 0.6 m の隙間を跳び越え、連続する 0.42 m の段差を登り、キャンプ用カートの下をくぐった。
  • 学習コスト：各専門方策は Nvidia 3090 を 1 基備えたマシン 1 台で、ソフトなダイナミクスで 12 h、ハードなダイナミクスで 6 h。蒸留は 3090 を 1 基ずつ備えたマシン 4 台で行った。

制限事項

  • シミュレーション環境は手作業で構築されているため、新しいスキルを学習できるのは、新しい障害物環境をシミュレーションに追加したときだけである（著者らによる）。
  • 方策は深度のみを用いる。意味情報を含む RGB からの学習は今後の課題とされている（著者らによる）。
  • オンボードの計算能力が限られているため、オンボードの深度は 10 Hz でしか更新されず、方策は利用可能な最新の深度埋め込みを用いて 50 Hz で動作する。
  • 実世界の定量的なテストは A1 でのみ、設定ごとに 10 試行で行われた。0.28 m の傾きタスクについては実世界での成功率が示されていない。

分野への影響

CoRL 2023 Best Systems Paper Award のファイナリストとなり、被引用数は 356 である。著者らはこれを俊敏な移動方策の学習と展開のためのオープンソースシステムとして提示しており、プロジェクトページからコードリポジトリにリンクされている。

概要

パルクールは脚式移動における大きな課題であり、ロボットが複雑な環境でさまざまな障害物を素早く乗り越えることを求める。既存の手法は、参照用の動物データや複雑な報酬を用いることで、多様だが視覚をもたない移動スキルか、視覚に基づくが特化したスキルのいずれかを生成できる。しかし、自律的なパルクールでは、さまざまな状況を知覚して反応するために、視覚に基づき、かつ多様で汎化可能なスキルをロボットが学習する必要がある。本研究では、参照動作データを一切使わず単純な報酬を用いて、多様なパルクールスキルを備えた単一のエンドツーエンドの視覚ベースのパルクール方策を学習するシステムを提案する。直接コロケーション法に着想を得た強化学習手法を開発し、高い障害物を乗り越える、大きな隙間を跳び越える、低い障害物の下をくぐる、狭い隙間をすり抜ける、走るといったパルクールスキルを生成する。これらのスキルを単一の視覚ベースのパルクール方策に蒸留し、ロボットの自己中心視点の深度カメラを用いて四脚ロボットに転移する。本システムにより、2 種類の異なる低コストロボットが適切なパルクールスキルを自律的に選んで実行し、困難な実世界の環境を踏破できることを示す。

リンク

  • arXiv 2309.05665: https://arxiv.org/abs/2309.05665
  • DOI 10.48550/arXiv.2309.05665: https://doi.org/10.48550/arXiv.2309.05665
  • PDF: https://proceedings.mlr.press/v229/zhuang23a/zhuang23a.pdf
  • コード: https://github.com/ZiwenZhuang/parkour
  • プロジェクトページ: https://robot-parkour.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。