Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Foundation models in robotics: Applications, challenges, and the future

著者: Roya Firoozi, Johnathan Tucker, Stephen Tian, Anirudha Majumdar, Jiankai Sun, Weiyu Liu, Yuke Zhu, Shuran Song, Ashish Kapoor, Karol Hausman, Brian Ichter, Danny Driess, Jiajun Wu, Cewu Lu, Mac Schwager · The International Journal of Robotics Research (IJRR) 2024

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。

要約

ロボティクスにおける基盤モデルのサーベイ。意思決定と制御、知覚、エンボディド AI に分類し、データ不足から安全性やリアルタイム利用まで 8 つの未解決課題で締めくくる。

重要な理由

ロボットに LLM、VLM、ロボットトランスフォーマーを使うかどうかを判断するエンジニアは、このサーベイの分類と Table II を活用できる。Table II はパラメータ数と推論レートを示しており、例えば RT-2 は 1-3 Hz、Gato は 20 Hz である。課題の節では、クラウド専用のモデルとネットワーク遅延、ハルシネーション、較正された不確実性、安全性試験といった実際の運用上の懸念が挙げられている。著者らはまた、意思決定に関する多くの結果は独自のハードウェアスタックや物理を扱わないシミュレータに依存するため比較が難しいと述べている。

課題

ロボティクスの深層学習モデルは通常、1 つのタスクのために集めた小規模なデータセットで学習されており、新しいタスクや環境への適応性が限られている。インターネット規模のデータで事前学習された基盤モデルは言語と視覚でよく汎化しており、ロボティクスの研究者はそれらをロボットにそのまま組み込んだり、ロボット向けに適応させたり、ロボットのために構築したりし始めている。この分野の研究は知覚、プランニング、制御にまたがって分散しており、何が試され何が未解決なのかを示す統一的な見取り図がない。

提案手法

本論文はサーベイであり、独自の手法は提案していない。対象範囲を、背景論文、ロボティクス論文（プラグアンドプレイで使われた、ファインチューニングされた、またはロボット向けに新たに構築された基盤モデル）、ロボティクス隣接分野の論文に限定し、基盤モデルの背景、ロボットの意思決定と制御（言語条件付き模倣学習、言語支援 RL、価値学習、LLM によるタスクプランニングとコード生成、インコンテキスト学習、ロボットトランスフォーマー、オープンボキャブラリのナビゲーションとマニピュレーション）、知覚（オープンボキャブラリの検出、セグメンテーション、3D シーン表現、アフォーダンス、予測モデル）、そしてエンボディド AI とそのシミュレータを扱う。最後に課題と今後の方向性を述べ、ロボット専用の事前学習済みモデルについてサイズ、推論速度、学習ハードウェアを表にまとめている。

主な知見

  • このサーベイは、ロボティクスの研究を基盤モデルの 3 つの使い方に分類している。既存モデルのプラグアンドプレイでの利用、その適応やファインチューニング、そして新たなロボット専用基盤モデルの構築である。
  • 現在のロボットトランスフォーマーが学習するロボットの身体的スキルは、ロボットデータに含まれるスキルの分布に限られる。著者らは、これを超える道の 1 つとして人間の動画から得た動作データを提案している。
  • 多くの基盤モデルはクラウド API 経由でしか利用できないため、遅延はロボットが制御できないネットワークに左右される。著者らは、ローカルでのフォールバック自律機能と、より小さな搭載モデルへの蒸留を提案している。
  • 安全性が重要なロボットについて、著者らは不確実性の推定が頻度論的な意味で較正されている必要があると主張し、KnowNo によるコンフォーマル予測の利用を事例として紹介している。
  • Gibson、Habitat、RoboTHOR、VirtualHome などの物理を扱わないシミュレータは、低レベルの物理を犠牲にして視覚的な忠実度を得ており、著者らはこれを大きな sim-to-real ギャップと低い再現性に結び付けている。

主な結果

  • サーベイであるため独自の実験は報告していない。参考文献は背景、ロボティクス、ロボティクス隣接分野の論文にわたり 233 件に及ぶ。
  • Table II はロボット専用の事前学習済みモデルをサイズと推論レートとともに示している。例えば RT-1 は 35M パラメータで 3 Hz、RT-2 と RT-2-X は 55B パラメータでマルチ TPU のクラウドサービス上 1-3 Hz、Gato は 1.2B で 20 Hz、ViNT は 31M で 4 Hz である。
  • 同じ表には、PACT（12M パラメータ）が Nvidia Xavier NX エッジコンピュータ上で 10 Hz、8 基の Nvidia V100 GPU 上で 50 Hz であること、PaLM-E-562B が言語サブゴール 1 Hz と低レベル制御 5 Hz であることも示されている。
  • サーベイによれば、RT-1 は 13 台のロボットで 17 か月にわたって収集された、700 を超えるタスクをカバーする 130k 以上の実世界ロボットエピソードで学習された。
  • サーベイによれば、RT-X データセットは 22 種のロボットと 21 機関のデータを統合し、527 のスキル（160,266 タスク）をカバーしている。
  • 8 つの課題領域を挙げている：データ不足、リアルタイム性能、マルチモーダル表現の限界、不確実性の定量化、安全性評価、プラグアンドプレイか新規モデル構築か、ロボット環境の大きな多様性、そしてベンチマークと再現性である。

制限事項

  • 著者らはこの版を、今後更新する予定の予備的なリリースと位置付けており、2023 年 12 月時点の分野の状況を捉えたものである。
  • 対象範囲は 3 つの論文カテゴリ（背景、ロボティクス、ロボティクス隣接分野）に限られ、著者らは、より広範な基盤モデルのサーベイに比べて範囲がかなり狭いと述べている。
  • 著者らは、意思決定の節の論文は独自のハードウェアスタックや物理を扱わないシミュレータに依存しているため、知覚やエンボディド AI の節の論文よりも評価や比較が難しいと述べている。
  • Table II には元論文がデータを報告していない空欄があり、すべてのモデルについて推論速度とハードウェアが得られるわけではない。

分野への影響

このサーベイの被引用数は 471 である。著者らはこれと併せて GitHub プロジェクト Awesome-Robotics-Foundation-Models を公開しており、継続的に更新する予定の予備的なリリースと説明している。

概要

本論文では、ロボティクスにおける事前学習済み基盤モデルの応用をサーベイする。ロボティクスにおける従来の深層学習モデルは、特定のタスクに合わせた小規模なデータセットで学習されるため、多様な応用への適応性が限られる。これに対し、インターネット規模のデータで事前学習された基盤モデルは優れた汎化能力を持つように見え、場合によっては学習データに存在しない問題に対してゼロショットで解を見つける創発的な能力を示す。基盤モデルは、知覚から意思決定、制御に至るまで、ロボットの自律スタックのさまざまな構成要素を強化する可能性を秘めているかもしれない。例えば、大規模言語モデルはコードを生成したり常識推論を提供したりでき、視覚言語モデルはオープンボキャブラリの視覚認識を可能にする。しかし、特にロボットに関連する学習データの不足、安全性の保証と不確実性の定量化、リアルタイム実行をめぐって、重要な未解決の研究課題が残っている。本サーベイでは、ロボティクスの問題を解くために基盤モデルを使用または構築した最近の論文を調査する。知覚、意思決定、制御の各領域において、基盤モデルがロボットの能力向上にどのように寄与するかを探る。ロボットの自律性における基盤モデルの採用を妨げている課題を議論し、今後の進展に向けた機会と可能な道筋を示す。本論文に対応する GitHub プロジェクト（予備的なリリース。その品質と妥当性を確保するため、本研究をさらに充実させ更新していくことを約束する）は次の場所にある：https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models

リンク

  • arXiv 2312.07843: https://arxiv.org/abs/2312.07843
  • DOI 10.1177/02783649241281508: https://doi.org/10.1177/02783649241281508
  • PDF: https://arxiv.org/pdf/2312.07843v1
  • プロジェクトページ: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。