Legged Locomotion in Challenging Terrains using Egocentric Vision

著者: Ananye Agarwal, Ashish Kumar, Jitendra Malik, Deepak Pathak · CoRL 2022

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

安価な地形サンプルで RL を行い、それを深度入力に蒸留することで、A1 四脚ロボットに深度から関節角度への方策を与え、階段や縁石を登り、隙間や飛び石を越えられるようにする。

重要な理由

実装された方策は深度カメラ 1 台を用い、標高マップ、自己位置推定、MPC を必要としないため、ロボットに搭載された UP ボードと Jetson NX で動作する。階段での大きな股関節外転のような歩容は学習から自然に生じ、これによって股関節の高さが 28 cm のロボットが自身の高さに近い段を登れる。

課題

視覚に基づく脚式ロコモーションは通常、標高マッピングと足場計画に分けられ、標高マップには複数の深度画像をオドメトリによる姿勢推定と融合する必要がある。姿勢のドリフトとセンサノイズにより、これらのマップは隙間や飛び石の上では信頼できず、また追加のカメラ、LiDAR、計算資源は小型で低コストのロボットには搭載できない。小型ロボットは、自身の高さに近い障害物を越えるために、あらかじめ定義した歩容の事前知識に頼ることもできない。

提案手法

第 1 段階では、scandots（ロボットの下の固定点でサンプリングした地形の高さ）と特権情報を用い、エネルギーに基づく報酬で歩容の事前知識なしに、シミュレーションで PPO により方策を学習する。第 2 段階では、DAgger によってこれを再帰型の方策に蒸留する。この方策は単一の GRU か、凍結したベース方策に入力を与える RMA 型の推定器のいずれかであり、自己中心視点の深度と固有受容感覚を 50 Hz で直接目標関節角度に写像し、記憶を用いて後脚の下の地形を推定する。

主な知見

• 深度のレンダリングはシミュレーションを 1 桁遅くする。安価な scandots で RL を行い、その後教師あり学習で深度に蒸留することで、システム全体を単一の GPU で数日で学習できる。
• 再帰型の方策は、前方カメラが以前に見た地形を記憶して後脚を置くことができ、明示的な標高マップの代わりとなる。
• 歩容の事前知識がなくても、階段の縁を越えるための大きな股関節外転など、小型ロボットに適した行動が、エネルギーを最小化する報酬から自然に生じる。
• 第 2 段階の模倣損失が小さく保たれるように scandots とカメラの視野を選べば、第 2 段階の方策のリターンが最適に近いことが証明できる（定理 2.1）。
• 標高マップを用いるパイプラインは姿勢のドリフトに対処するために大きな学習ノイズを必要とする。シミュレーションでは、この「noisy」ベースラインは飛び石の上をほとんど進めない。

主な結果

• 実世界：階段の上り下り（高さ 17 cm、奥行き 30 cm、13 段）で成功率 100%、26 cm の隙間で 100%、飛び石（幅 30 cm、間隔 15 cm）で 94%。ブラインドのベースラインは、階段の上り、隙間、飛び石のいずれでも 0% であった。
• シミュレーションの合計：平均前進距離は 134.18 m（RMA）と 135.85 m（単一モデル）で、ベースラインは 73.05 m（noisy）と 84.79 m（blind）。転倒までの平均時間は 278.45 s と 275.01 s で、ベースラインは 147.83 s と 175.06 s。
• シミュレーションの飛び石：RMA と単一モデルの方策はそれぞれ 18.83 m と 20.72 m 進み、noisy と blind のベースラインは 1.09 m と 1.02 m であった。
• シミュレーションの斜面では、視覚を用いる方策がベースラインより遠くまで進む。その差は、結果の節の本文では最大 27%、表 1 のキャプションでは最大 25% とされている。
• 都市環境での試験における階段の高さ：都市環境の節では最大 24 cm（最小幅 28 cm）、序論では最大 25 cm（股関節の高さの 89%）とされている。縁石は最大 26 cm。
• ブラインドのベースラインは階段の下りタスクを毎回完了するが、衝撃の大きい落下するような歩容によるもので、試行中にロボットの右後ろの股関節が外れた。

制限事項

• シミュレーションと実世界で視覚や地形が異なると、依然として失敗が起こる。このアプローチで唯一の対処法は、その状況をシミュレーションで再現して再学習することであり、著者らはこれを根本的な限界と呼んでいる。
• ロボットは環境の中を移動するだけで、環境と相互作用しない。アームの追加は今後の課題である。
• 胴体の下の地形は視覚的な記憶に由来するため、ロボットは階段で時々踏み外し（回復はする）、屋外では時々割れ目にはまる。
• 実世界での比較には別々の第 2 段階の方策が用いられた。階段には内蔵の前方カメラ、隙間と飛び石には外部に取り付けた上部カメラを用いた。
• 実機では、本手法はブラインドのベースラインとしか比較されていない。標高マップ（noisy）のベースラインはシミュレーションでのみ試験されている。

分野への影響

CoRL 2022 Best Systems Paper Award を受賞し、被引用数は 373 である。プロジェクトページで動画を公開しているが、コード公開の記載はない。

概要

動物は視覚を用いて正確かつ機敏な移動を行うことができる。この能力を再現することは、ロボティクスにおける長年の目標であった。従来のアプローチは、この問題を標高マッピングと足場計画の段階に分解するものであった。しかし標高マッピングは、失敗や大きなノイズアーティファクトが生じやすく、専用のハードウェアを必要とし、生物学的にも妥当ではない。本論文では、階段、縁石、飛び石、隙間を踏破できる初のエンドツーエンドのロコモーションシステムを示す。この結果を、前向きの深度カメラ 1 台のみを用いた中型の四脚ロボットで示す。ロボットが小型であるため、他では見られない特殊な歩容パターンを見いだす必要がある。自己中心視点のカメラでは、後脚の下の地形を推定するために、方策が過去の情報を記憶しなければならない。方策はシミュレーションで学習する。学習は 2 段階からなる。まず、計算コストの低い深度画像の変種を用いて強化学習で方策を学習し、次に第 2 段階で、教師あり学習によってそれを深度を用いる最終的な方策に蒸留する。得られた方策は実世界に転移し、ロボットの限られた計算資源でリアルタイムに動作できる。押し、滑りやすい路面、岩の多い地形などの外乱に対してロバストでありながら、多種多様な地形を踏破できる。動画は https://vision-locomotion.github.io にある。

リンク

• arXiv 2211.07638: https://arxiv.org/abs/2211.07638
• DOI 10.48550/arXiv.2211.07638: https://doi.org/10.48550/arXiv.2211.07638
• PDF: https://proceedings.mlr.press/v205/agarwal23a/agarwal23a.pdf
• プロジェクトページ: https://vision-locomotion.github.io/