NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration

著者: Ajay Sridhar, Dhruv Shah, Catherine Glossop, Sergey Levine · ICRA 2024

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

任意でマスク可能なゴール画像を持つ単一の拡散ポリシーが探索とゴール到達の両方を扱う。LoCoBot では、約 15× 小さいモデルで画像サブゴール拡散を上回った。

重要な理由

1 つのコンパクトなポリシーが、ゴール条件付きポリシーと別個の画像生成モデルの組み合わせを置き換え、モデルサイズを 335M パラメータから 19M に削減する。著者らは、これが計算資源の少ない搭載コンピュータに適していると指摘している。拡散ヘッドは分岐点で衝突のない複数の選択肢を保持しつつ、ゴール画像が与えられると正しい経路に絞り込んだ。公開されている複数ロボットのナビゲーションデータセット（GNM と SACSoN）で学習し、シミュレーションだけでなく実機ロボットで試験した。

課題

画像で示されたゴールを未知の環境で探すロボットには、ゴールを見つけるためのタスクに依存しない探索と、見つけた後のゴール指向ナビゲーションという 2 つの行動が必要である。従来のシステムはこれらを別々のモデルに分けており、例えばゴール条件付きポリシーと、サブゴール画像を提案する 300M パラメータの画像拡散モデルを組み合わせていた。探索ではまた、分岐点で左か右かといった多峰的な行動分布を表現する必要があるが、より単純なポリシークラスではこれが平均化されてしまう。

提案手法

NoMaD は ViNT のトランスフォーマーバックボーン（EfficientNet-B0 エンコーダ、4 層、4 ヘッド）を拡張し、ゴールトークンへの注意を遮断する二値のゴールマスクを加える。このマスクは学習中に確率 0.5 でサンプリングされ、1 つのポリシーが両方のモードを学習する。観測コンテキストは 1D 条件付き U-Net 拡散モデルの条件となり、このモデルが 8 つの将来行動の系列を 10 ステップでデノイズする。ポリシーは ViKiNG の構成にならい、トポロジカルグラフのメモリとフロンティアベースの探索と組み合わせて使われる。

主な知見

学習中にゴールトークンをマスクすることで、単一のネットワークがゴール条件付きの行動と目的を定めない行動の両方を、どちらのモードでも性能を落とさずに学習できる。
サブゴール画像を生成する代わりに拡散で行動を直接モデル化することで、はるかに小さいモデルで多峰的な探索の選択肢を捉えられた。
離散化した行動に対する自己回帰予測は原理的には複数のモードを表現できるが、その予測はほぼ単峰的で、展開したポリシーはぎこちなく、動く障害物への反応も遅かった。
視覚エンコーダの選択が重要であった。注意機構ベースのゴールマスキングを用いる ViNT エンコーダは拡散とうまく学習できたが、ViT エンコーダはそうではなかった。

主な結果

未知の環境での探索：NoMaD は成功率 98%、実験あたりの衝突 0.2 回。これに対し Subgoal Diffusion は 77% / 1.7（335M パラメータ）、Autoregressive は 90% / 2.0、Random Subgoals は 70% / 2.7、Masked ViNT は 50% / 1.0、VIB は 30% / 4.0。
トポロジカルグラフを用いた既知環境でのナビゲーション：NoMaD の成功率は 90% で、Subgoal Diffusion および Random Subgoals と同じであった。
統一ポリシーと専用ポリシーの比較：NoMaD（19M）は目的を定めない探索で 98%、ゴール条件付きで 92% の成功率に達し、Diffusion Policy（15M、目的なし 98%）および ViNT ポリシー（16M、ゴール条件付き 92%）と同等であった。
エンコーダのアブレーション：成功率 / 衝突回数は、後期融合 CNN が 52% / 3.2、早期融合 CNN が 68% / 1.5、ViT が 32% / 2.5、NoMaD が 98% / 0.2 であった。
NoMaD のパラメータ数は 19M で、Subgoal Diffusion の 335M に対し、論文はこれを 15× 少ないと述べている。
論文はテスト環境の数を 2 通り示している。評価設定（Section V）では 6、Table I の考察では 5 である。

制限事項

ゴールは画像でのみ指定され、著者らは画像が必ずしもユーザにとって最も自然なモダリティではないと指摘している。言語や空間座標は今後の課題とされている。
上位のプランニングには標準的なフロンティアベースの探索戦略が使われており、意味情報や事前知識に基づく探索領域の選択は用いられていない。
探索において、NoMaD は最も難しいテスト環境を除くすべての環境で成功した。
実世界の評価には 1 つのロボットプラットフォーム、LoCoBot のみが用いられた。

分野への影響

NoMaD は ICRA 2024 Best Conference Paper Award を受賞し、ICRA 2024 Best Paper Award in Cognitive Robotics と Best Student Paper Award のファイナリストにもなった。著者らはプロジェクトページを通じてコードと事前学習済みモデルのチェックポイントを公開している。

概要

未知の環境におけるナビゲーションのためのロボット学習では、タスク指向のナビゲーション（すなわち、ロボットが見つけたゴールに到達すること）と、タスクに依存しない探索（すなわち、新しい環境でゴールを探すこと）の両方のためのポリシーを提供する必要がある。通常、これらの役割は別々のモデルで扱われ、例えばサブゴール提案、プランニング、あるいは個別のナビゲーション戦略が用いられる。本論文では、ゴール指向のナビゲーションとゴールに依存しない探索の両方を扱う単一の統一された拡散ポリシーをどのように学習できるかを述べる。後者は新しい環境を探索する能力を、前者はユーザが指定したゴールが見つかった後にそこへ到達する能力を提供する。この統一ポリシーは、新しい環境で視覚的に示されたゴールへナビゲートする際に、生成モデルによるサブゴール提案を用いる手法や、潜在変数モデルに基づく従来手法と比べて、全体として高い性能をもたらすことを示す。本手法は、複数の地上ロボットのデータで学習した大規模なトランスフォーマーベースのポリシーと、ゴール条件付きナビゲーションとゴールに依存しないナビゲーションの両方を柔軟に扱う拡散モデルデコーダによって実装する。実世界の移動ロボットプラットフォームで行った実験では、5 つの代替手法と比較して未知の環境で効果的にナビゲートできること、そして最先端の手法より小さなモデルを用いているにもかかわらず、性能が大幅に向上し衝突率が低いことを示す。その他の動画、コード、事前学習済みモデルのチェックポイントについては https://general-navigation-models.github.io/nomad/ を参照されたい。

リンク

arXiv 2310.07896: https://arxiv.org/abs/2310.07896
PDF: https://arxiv.org/pdf/2310.07896v1
コード: https://github.com/PrieureDeSion/visualnav-transformer
プロジェクトページ: https://general-navigation-models.github.io/nomad/