ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints

著者: Dhruv Shah, Sergey Levine · RSS 2022

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

ViKiNG は、画像ベースの局所コントローラと、衛星画像や道路地図に導かれる A* に似た探索を組み合わせ、80 m 未満の走行で学習した後に 1 km 以上離れたゴールに到達する。

重要な理由

安価で不完全な地図データが、幾何地図を構築せずにロボットの長距離ナビゲーションを導けること、そして地図が古くても制御がロバストに保たれることを示している。歩道や小道に沿って進むことや行き止まりから引き返すことは、手書きのルールではなく、学習データと探索から生じている。

課題

未知の屋外環境で遠くのゴールへ向かうロボットには、局所的な走行可能性の推論と、より広い地理の知識の両方が必要である。幾何的な地図作成手法は事前のデータから恩恵を受けられず、学習されたナビゲーション方策は短い距離にしか到達しておらず、利用可能な地図や GPS（精度 2–5 m、ロボットの大きさの 4–10×）は古かったり誤っていたりしうるため、制御に用いるには信頼できない。

提案手法

42 時間のオフライン走行データで学習した潜在ゴールモデルが、現在の画像とサブゴール画像を受け取り、時間的距離、次の行動、GPS のオフセットを予測する。変分情報ボトルネックにより、到達可能な候補サブゴールのサンプリングも可能になる。2 つ目のモデルは、GPS でつなぎ合わせた学習軌道上で対照的な目的関数により学習され、俯瞰の衛星画像または道路地図が与えられたときに、サブゴールがゴールへの経路上にあるかを評価する。ViKiNG-A は、走行中に構築するトポロジカルグラフ上での A に似た物理的な探索であり、そのスコアをヒューリスティックとしてのみ用い、すべての走行行動はカメラ画像から得られる。

主な知見

地理的なヒントを探索のヒューリスティックとしてのみ用い、制御はカメラ画像から行うことで、地図が古い場合（以前の経路をトラックがふさいで駐車していた）や誤っている場合（衛星画像が約 5 km ずれていた）でもロボットは機能し続けた。
重なり合う学習軌道を GPS 位置によってつなぎ合わせ、より長いマクロ軌道にすることで、ヒューリスティックは単一の学習走行の長さをはるかに超えるゴールを評価することを学習できる。
ヒントの種類が挙動を変える。道路地図で学習したモデルは標示された道路に沿って進み、衛星画像で学習したモデルはより短い経路を求めて草地を横切った。
歩道や森の小道に沿って進むといったナビゲーション行動は、学習データのうち遠隔操作による部分から受け継がれている。小道にとどまることに報酬を与える別の仕組みはない。
物理的な探索はグラフ探索とは異なる。ロボットは任意のノードにジャンプできず、走行する前にエッジのコストを知ることもできないため、ViKiNG-A* は各候補のコストに走行コストと訪問回数に基づく新規性の項を加える。

主な結果

10 の未知環境でのゴール到達（Table I）：ViKiNG は易（<50 m）3/3、中（50–150 m）4/4、難（150–500 m）3/3。RECON-H は 3/3、3/4、1/3、GCG は 3/3、2/4、0/3、行動クローニングとオフライン PPO は 2/3、1/4、0/3。
難しい走行で介入が発生するまでの平均変位（Table II）は、ViKiNG が 1.36 m/s で 250.0+ m、RECON-H が 0.41 m/s で 188.3 m、GCG が 1.40 m/s で 78.3 m、オフライン PPO が 47.2 m、行動クローニングが 19.5 m。
未知のキャンパスと市街地環境での 1.05 km、1.20 km、1.55 km の単発のキロメートル規模の走行、6 つのチェックポイントと 70 m の標高差を持つ 2.73 km のハイキングトレイル（本文では 2.7 km と記載）、そして介入なしの 2.65 km の郊外点検ループ。
アブストラクトは最大 3 km 先のゴールとし、序論は 2 km を超えるゴールに 25 分未満で到達したとしている。実験で報告されている最長の走行は 2.73 km と 2.65 km である。
俯瞰画像なし（GPS 距離のヒューリスティックのみ）では、ロボットは 17:20 と 0.73 km を要したのに対し、衛星画像ありでは 06:40 と 0.31 km だった。GPS も画像もない場合は 30 分以上経ってもゴールに到達しなかった。
展開時の平均速度は 1.36 m/s で、学習データでは 1.68 m/s だった。学習データの軌道は平均 45 m である。

制限事項

論文には制限事項の節がない。考察では、模式図、紙の地図、テキストによる指示など他のヒント源の利用を今後の課題に挙げ、衛星画像のみを用いたと述べているが、Section V-A では模式的な道路地図もテストしている。
GPS が必要である。GPS も俯瞰画像もない場合、探索は情報のない探索となり、30 分以上経ってもゴールに到達しなかった。
ベースラインとの比較は小規模で、10 の環境のそれぞれで 1 回の試行、ゴールは最大 500 m である。キロメートル規模の走行と、古いヒントや誤ったヒントのテストは単発のデモンストレーションである。
ヒューリスティック単体では単一の学習軌道のスケールでしか推論できず、Section III-C ではそれを最大 50 m としているが、アブストラクトと Section IV-B は最長の学習軌道を 80 m としている。長距離の評価は GPS による軌道のつなぎ合わせに依存している。
密な樹冠の下では衛星画像は有用な情報を持たないため、そこでの前進は画像ベースの局所モデルのみに依存する。

分野への影響

RSS 2022 Best Systems Paper Award のファイナリストで、被引用数は 121。論文はコードへのリンクを示していない。プロジェクトページでは、ロボットの走行を三人称視点で撮影したものを含む実験動画を公開している。

概要

ロボットのナビゲーションは、3D 再構成と計画の問題として、またエンドツーエンドの学習問題として扱われてきた。しかし、長距離ナビゲーションには、局所的な走行可能性についての計画と推論の両方が必要であり、さらに道路地図、GPS、その他の補助情報の形で得られる大域的な地理の情報を活用できる必要がある。こうした情報は重要なナビゲーションのヒントを与えるが、精度が低かったり信頼できなかったりする場合がある。本研究では、学習と計画を統合し、模式的な道路地図、衛星地図、GPS 座標などの補助情報を、それらが正確であることに依存せずに計画のヒューリスティックとして活用できる、学習ベースの手法を提案する。我々の手法 ViKiNG は、ロボットの現在のカメラ観測と候補となるサブゴールを見て、そのサブゴールにどれだけ容易に到達できるかを推定する局所走行可能性モデルと、俯瞰地図を見てさまざまなサブゴールから目的地までの距離を推定しようとするヒューリスティックモデルを組み込んでいる。これらのモデルは、最終目的地に到達するための最良の次のサブゴールを決めるために、ヒューリスティックプランナによって用いられる。本手法は明示的な幾何再構成を行わず、環境のトポロジカルな表現のみを用いる。学習データセットで 80 メートルより長い軌道を一度も見たことがないにもかかわらず、ViKiNG は画像ベースの学習済みコントローラとゴール指向のヒューリスティックを活用して、未知の環境で最大 3 キロメートル離れたゴールまでナビゲートでき、候補経路を探り、通行不能とわかると引き返すといった複雑な行動を示す。低レベルのコントローラは最終的に自己中心の画像観測に基づいて判断し、地図は計画のヒューリスティックとしてのみ用いるため、ViKiNG は信頼できない地図や GPS に対してもロバストである。

リンク

arXiv 2202.11271: https://arxiv.org/abs/2202.11271
DOI 10.15607/RSS.2022.XVIII.019: https://doi.org/10.15607/RSS.2022.XVIII.019
PDF: https://arxiv.org/pdf/2202.11271v1
プロジェクトページ: https://sites.google.com/view/viking-release