Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations

著者: Kuang-Huei Lee, Ofir Nachum, Tingnan Zhang, Sergio Guadarrama, Jie Tan, Wenhao Yu · IROS 2022

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

予測情報で学習した 128 次元の深度・固有受容感覚エンコーダと、ARS で学習した小さな方策ヘッド。実環境の飛び石で成功率 100%、ARS は 40%。

重要な理由

進化戦略の並列性と簡潔さを保ちながら、視覚ベースの制御における主な障害であるパラメータ探索空間の大きさを縮小する。方策は、以前の ARS の研究と同じシミュレーションから実機への手順を用いて PyBullet から実機の Laikago に転移され、飛び石と屋内ナビゲーションを行った。

課題

Augmented Random Search（ARS）などの進化戦略は並列化しやすく、パラメータ空間で探索を行うが、視覚ロコモーションに必要な畳み込みネットワークの多数のパラメータにはうまくスケールしない。著者らの試験では、勾配ベースの代替手法である SAC と PI-SAC はこれらのタスクで意味のある進展を示さず、以前の ARS の視覚ロコモーション方策は実環境の飛び石で 40% の成功率にとどまっていた。

提案手法

PI-ARS はエージェントをエンコーダと小さな方策ヘッドに分ける。エンコーダは 2 枚の 32×24 の深度画像と固有受容感覚の状態を 128 次元のベクトルに写像し、ARS がもともと収集する軌道を用いて、予測情報を最大化するよう勾配降下で学習される。予測情報には、未来の深度観測を予測する InfoNCE 項と RNN による報酬予測を組み合わせる。その後 ARS は、MPC ベースの低レベルコントローラに高レベルの指令を出力する 3 層の MLP ヘッドのみを最適化する。

主な知見

  • 表現学習（勾配ベース）と方策探索（勾配なし）を分離することで、進化戦略の利点を保ちつつ、そのスケーリングの問題を回避できる。
  • ARS の摂動ロールアウトから得た軌道をリプレイバッファに保存してエンコーダの学習に再利用するため、表現学習に追加の環境データは不要である。
  • 報酬予測だけでは表現が弱すぎてタスクを解けず、未来の観測に関する対照的な項が必要であった。
  • 著者らは、ここでは ARS のパラメータ空間探索と安定性が決定的に重要だとしている。SAC に予測情報を加えても（PI-SAC）改善しなかったため、良い表現だけでは十分ではなかった。

主な結果

  • 実環境の飛び石（4 つの石、0.12–0.18 m の 3 つの隙間）：PI-ARS は 10 回中 10 回成功（100%）し、同じ学習・評価設定での ARS ベースラインは 40% であった。
  • シミュレーションの不整地の飛び石：2,000,000 学習エピソード後の平均リターンは 48.01% 上昇し、2.93 から 4.34 になった。
  • 不整地の飛び石、五点形の杭、動くプラットフォーム、屋内ナビゲーションの 4 つのシミュレーションタスクすべてで、PI-ARS は ARS より高いリターンと優れたサンプル効率を示した。
  • SAC と PI-SAC は、大規模なハイパーパラメータ調整にもかかわらず、これらのタスクで無視できない程度の学習の進展すら示せなかった。
  • 実環境の屋内ナビゲーション：方策は目標に到達し、2 つの障害物の間の近道を見つけたが、一方の障害物のアームに衝突した。
  • 学習では ARS の 1 反復あたり 1024 個の摂動を用いて上位 512 個を残し、最大 4000 反復（1 試行あたり最大 2,048,000 シミュレーションエピソード）、手法ごとに 30 試行を行った。

制限事項

  • 実環境の屋内ナビゲーションでは、箱形のシミュレーション障害物でしか学習していなかったため、ロボットが障害物のアームに衝突した。
  • 屋内タスクのみが試験されており、屋外での視覚ロコモーションは今後の課題とされている。
  • 実環境の飛び石の方策は、石の高さの変化が小さい、シミュレーション地形の易しい版で学習された。
  • 屋内ナビゲーションでは、相対的な目標ベクトルのためにロボットのベース位置を追跡するモーションキャプチャシステムが必要であった。
  • 学習した方策は高レベルの指令のみを出力し、それを実行するために MPC ベースの低レベルコントローラに依存している。

分野への影響

IROS 2022 Best Paper Award および ABB Best Student Paper Award のファイナリストで、被引用数は 21 である。著者らは補足動画のページを公開しているが、論文にはコード公開の記載はない。

概要

進化戦略（Evolution Strategy、ES）アルゴリズムは、大規模な並列化能力、実装の簡単さ、効果的なパラメータ空間探索、短い学習時間により、複雑なロボット制御方策の学習で有望な結果を示してきた。しかし ES の主要な限界は、現代のニューラルネットワークアーキテクチャを含む大容量モデルへのスケーラビリティである。本研究では、表現学習の最近の進歩を活用して ES のパラメータ探索空間を縮小することでこの限界を緩和する、Predictive Information Augmented Random Search（PI-ARS）を開発する。具体的には、PI-ARS は勾配ベースの表現学習手法である予測情報（Predictive Information、PI）と、勾配を用いない ES アルゴリズムである Augmented Random Search（ARS）を組み合わせ、複雑なロボットのセンサ入力を処理し、強い非線形性をもつロボットのダイナミクスに対処できる方策を学習する。四脚ロボットが不整地の飛び石、五点形に配置された杭、動くプラットフォームの上を歩き、さらに屋内ナビゲーションタスクを完了する必要がある、一連の難しい視覚ロコモーションタスクで PI-ARS を評価する。すべてのタスクで、PI-ARS は ARS ベースラインと比べて大幅に優れた学習効率と性能を示す。さらに、学習した方策が実機の四脚ロボットに転移できることを示してアルゴリズムを検証し、たとえば実世界の飛び石環境で 100% の成功率を達成し、40% の成功率であった従来の結果を劇的に改善した。

リンク

  • arXiv 2207.13224: https://arxiv.org/abs/2207.13224
  • DOI 10.1109/IROS47612.2022.9981952: https://doi.org/10.1109/IROS47612.2022.9981952
  • PDF: https://arxiv.org/pdf/2207.13224v1
  • プロジェクトページ: https://kuanghuei.github.io/piars

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。