On Evaluation of Embodied Navigation Agents

著者: Peter Anderson, Angel Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, Vladlen Koltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, Amir R. Zamir · arXiv 2018

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。

要約

新しい手法ではなく、ナビゲーション研究に関するワーキンググループの提言報告書：DONE 行動、測地距離、SPL 指標、SI 単位による連続シミュレータ、4 つのデータセット上の標準シナリオ。

重要な理由

SPL は、ゴールへの到達と効率的な経路の選択の両方を評価する 1 つの数値を与え、DONE の要件はエージェントが到着したことを自覚しているかを試す。論文はまた、シミュレーションでの研究において完全なオドメトリや GPS などのセンシングの前提を明記すること、そして学習済みエージェントを実機ロボットに展開するためのオープンソースソフトウェアをシミュレータとともに提供することを求めている。

課題

3D 環境におけるナビゲーション研究では、互いに両立しない多くのタスク定義、テストベッド、評価プロトコルが生まれ、結果の比較が難しくなっていた。プロトコルの中には、エージェントがゴールに近づいた時点でエピソードを成功とみなすもの、壁を無視するユークリッド距離で近さを測るもの、エージェントがどれだけ接触したかを報告せずにテスト環境で学習するものもあった。

提案手法

ナビゲーション研究者からなるワーキンググループが、ゴールの種類（PointGoal、ObjectGoal、AreaGoal）、テスト環境への事前接触の条件、そして 7 つの推奨事項を定義する。主要な尺度は SPL である：成功した各エピソードのスコアは、最短経路長を、エージェントの経路長と最短経路長のうち大きい方で割った値であり、全エピソードで平均される。成功は、エージェントがゴールから距離のしきい値以内で DONE 行動を出したときにのみ判定される。SUNCG、Matterport3D、AI2-THOR、Gibson について、標準的な学習、検証、テストのシナリオが定義されている。

主な知見

• 成功は、エピソード中のより有利な以前の時点ではなく、エージェントが DONE を宣言した時点で判定すべきである。
• ゴールのすぐ隣にいても壁の向こう側にいるエージェントは近いとはいえないため、ユークリッド距離ではなく測地線（最短経路）距離を用いるべきである。
• SPL は厳しい指標である：著者らは複雑な未知環境では 0.5 が良好な水準になると予想しており、人間の被験者を用いてデータセットごとに較正することを提案している。
• テスト環境への事前の接触は定量化して報告しなければならない。論文は 3 つの条件を挙げている：事前探索なし、事前に記録された探索、エージェント自身による時間制限付きの探索。
• 連続状態空間と SI 単位（シミュレータの 1 単位 = 1 m）により、シミュレータは展開時の条件に近づき、結果が比較可能になる。

主な結果

• SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ)：最適経路で成功率 50% なら 0.5、最適の 2 倍の長さの経路で成功率 100% なら 0.5、最適の 2 倍の長さで成功率 50% なら 0.25 となる。
• 既定の成功しきい値 τ はエージェントの体幅の 2 倍である。SUNCG と Matterport3D で用いられ、Gibson でも推奨既定値とされる体幅 0.2 m では τ = 0.4 m となる。
• SUNCG のシナリオ：平屋の家 500 軒を 300/100/100 に分割、部屋 2,737、物体 41,158、床面積約 110,000 m²。Matterport3D：データセットの 61/11/18 の家の分割を用い、190 フロアに 2,206 の部屋領域。
• AI2-THOR v1.0：4 種類の部屋の 120 シーンのうち、学習に 80、検証に 20、テストに 20 を用い、テストシーンごとに PointGoal と ObjectGoal でそれぞれ 125 のシナリオ。
• Gibson：建物 572 棟、1,447 フロア、211,000 m² で、tiny（25/5/5）、medium（100/20/20）、full（402/85/85）の分割がある。
• シナリオ数：6 節の一般的な手順ではシーンごとに 100 を超えるスタート・ゴールの設定を生成するが、Gibson の小節では空間ごとに 100 組のスタート・ゴールのペアを規定している。

制限事項

• これはワーキンググループによる推奨事項の報告書であり、実験研究ではない。シミュレーションでも実機でもロボットを用いた実験は行っておらず、その成果は定義、1 つの指標、標準シナリオである。
• 著者らは、ロボティクスではシミュレーションが懐疑的に見られていること、エージェントは最終的に物理世界で動作しなければならないことを指摘している。実機ロボットへの転移のためのツールは推奨事項であり、論文がそれを提供しているわけではない。
• グループは、ナビゲーションエージェントの特定の内部表現を推奨することを、時期尚早であるとして控えている。
• AI2-THOR v1.0 は各シーンが 1 部屋のみで構成されているため、AreaGoal には使用できない。
• Gibson の測地線距離は床から一定の高さで計算されており、地上車両とドローンのようにエージェントの種類によって異なるため、エージェントごとに再計算が必要になる場合がある。

分野への影響

被引用数 1047。論文は標準的なナビゲーションシナリオを公開している：SUNCG と Matterport3D のシナリオファイルは github.com/minosworld/scenarios、Gibson のシナリオは gibson.vision/nav_scenarios にある。

概要

3 次元環境における巧みな移動操作は、人工知能の主要な研究テーマである。この 2 年間で、ナビゲーションに関する創造的な研究が急増した。この創造的な成果から、互いに両立しないこともある多数のタスク定義と評価プロトコルが生まれた。この分野で進行中および今後の研究を調整するため、我々はナビゲーション研究における実証的方法論を検討するワーキンググループを招集した。本文書は、このワーキンググループの合意に基づく推奨事項をまとめたものである。異なる問題設定と汎化の役割について議論し、評価尺度を提示し、ベンチマークに使用できる標準シナリオを提供する。

リンク

• arXiv 1807.06757: https://arxiv.org/abs/1807.06757
• DOI https://doi.org/10.48550/arxiv.1807.06757: https://doi.org/https://doi.org/10.48550/arxiv.1807.06757
• PDF: https://arxiv.org/pdf/1807.06757v1