Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

著者: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei · CoRL 2023

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

LLM が Python を書き、視覚言語モデルによる検出から 3D のアフォーダンス用と回避用のボクセルマップを埋める。プランナがそれを閉ループの 6-DoF 軌道に変換し、追加の学習は不要である。

重要な理由

どのコンポーネントもタスク向けに学習されていない。言語モデルの知識はロボットの 3D 観測空間に直接接地され、標準的なプランナがそれを使う。プランナは新しい観測から再計画するため、目標が動かされる、ロボットが閉めた引き出しが再び開けられるといった外乱があっても実行が破綻しない。

課題

LLM ベースのロボットプランナは通常、あらかじめ定義された動作プリミティブのライブラリを呼び出すが、大規模なロボットデータが乏しいため、そうしたスキルの獲得がボトルネックになっている。また、LLM は高頻度かつ高次元の制御行動をテキストとして直接出力することもできない。本論文は、タスクごとのデータ収集や手作業で設計したプリミティブなしに、オープンセットの指示と物体に対して、細かな動作のレベルで LLM の知識をどう使うかを問う。

提案手法

指示と RGB-D 観測が与えられると、GPT-4 は知覚 API（OWL-ViT による検出、Segment Anything のマスク、XMem による追跡）と NumPy の演算を呼び出す Python コードを生成し、アフォーダンス、回避、エンドエフェクタの回転、速度、グリッパの状態についての 100×100×100 のボクセルマップを埋める。貪欲探索による動作プランナが、重み付けしたアフォーダンスマップと回避マップから構築したコストマップ上で衝突のないエンドエフェクタのウェイポイントを求め、最初のウェイポイントを実行し、モデル予測制御のループで 5 Hz で再計画する。接触の多いタスクでは、ゼロショット軌道で探索を方向づけつつ、MLP のダイナミクスモデルをオンラインで学習する。

主な知見

  • LLM は生の制御行動を出力するのは苦手だが、アフォーダンスや制約の推論は得意であり、それらを 3D ボクセルマップに値を書き込むコードとして表現できる。
  • 空間的な価値マップを同時最適化のもとで合成するほうが、LLM が固定されたプリミティブのリストをパラメータ化する手法（Code as Policies の一変種）よりも、コストマップを予測するよう学習した U-Net よりも汎化性能が高かった。
  • 接触の多いタスクに対するゼロショット軌道は意味のあるものであることが多いが十分ではない。これを探索の事前分布として用いると、ダイナミクスモデルの学習が現実的になる。
  • シミュレーションでは、VoxPoser は比較した手法の中で指定の誤りが最も少なかった。実世界では誤りの大半は知覚に起因しており、例えば物体の初期姿勢や物体の部位に対する検出器の感度である。

主な結果

  • 実世界、5 タスクで各 10 試行：成功率は静的なシーンで 88.0%、外乱ありで 70.0%。LLM + プリミティブは 24.0% と 0.0%。
  • シミュレーション（13 タスク、固有の指示 2766 件、タスクあたり 20 エピソード）、物体との相互作用 / 空間的合成の成功率：既知の指示と属性で 64.0% / 77.5%、未知の属性で 60.0% / 58.8%、未知の指示と属性で 65.0% / 76.7%。
  • 未知の指示・未知の属性の設定では、ベースラインは 0.0% / 0.0%（U-Net + 動作プランナ）と 17.5% / 25.0%（LLM + プリミティブ）だった。
  • 接触の多いシミュレーションタスク：ゼロショットでの成功率 6.7%（ドア）、3.3%（窓）、18.3%（冷蔵庫）は、ゼロショットの事前分布を用いた約 142 s、137 s、71 s のオンライン相互作用の後、それぞれ 88.3%、80.0%、91.7% に上昇した。事前分布なしの探索は 12 時間の上限を超えた。
  • 実機の構成では 5 Hz で再計画し、2 台の Azure Kinect カメラが 20 Hz で RGB-D をストリーミングする。

制限事項

  • 著者らによる：VoxPoser は外部の知覚モジュールに依存しており、全体的な視覚的推論や物体の細かな形状の理解を要するタスクには制約がある。
  • 著者らによる：接触の多いタスクを同じ水準の汎化で扱うには、汎用的なダイナミクスモデルがまだ必要である。実世界の物体中心のタスクでは、ヒューリスティックな平面押しモデルとあらかじめ定義された押しプリミティブを用いた。
  • 著者らによる：動作プランナはエンドエフェクタの軌道しか考慮しておらず、アーム全体の計画のほうがおそらく良い設計である。
  • 著者らによる：LLM のプロンプトは手作業で設計されている（言語モデルのプログラムごとに 5–20 個の例示クエリ）。
  • 大半のタスクでは、再計画を除いてシーンは静的であると仮定されており、LLM による指示のサブタスクへの分解は深く検討されていない。

分野への影響

被引用数は 735（示された数値どおり）。公式のプロジェクトページから VoxPoser のコードリポジトリにリンクされており、論文は LLM のプロンプト全体をプロジェクトのウェブサイトで公開している。

概要

大規模言語モデル（LLM）は、推論や計画という形でロボットマニピュレーションのために引き出せる、行動に結びつく豊富な知識をもつことが示されている。こうした進展にもかかわらず、多くは環境との物理的な相互作用を実行するためにあらかじめ定義された動作プリミティブに依存しており、これが依然として大きなボトルネックとなっている。本研究では、オープンセットの指示とオープンセットの物体が与えられたときに、多種多様な操作タスクに対してロボットの軌道、すなわち 6-DoF のエンドエフェクタのウェイポイントからなる密な系列を合成することを目指す。そのためにまず、自由形式の言語指示が与えられたとき、LLM がアフォーダンスと制約の推論に優れていることに着目する。さらに重要なことに、LLM はそのコード記述能力を活用して視覚言語モデル（VLM）とやり取りし、3D 価値マップを合成して知識をエージェントの観測空間に接地させることができる。合成された価値マップはモデルベースの計画フレームワークで用いられ、動的な外乱に頑健な閉ループのロボット軌道をゼロショットで合成する。さらに、接触の多い相互作用を伴うシーンのダイナミクスモデルを効率よく学習することで、提案フレームワークがオンラインの経験から恩恵を受けられることを示す。シミュレーションと実機の両方の環境で提案手法の大規模な検証を行い、自由形式の自然言語で指定された多種多様な日常の操作タスクを実行できることを示す。動画とコードは https://voxposer.github.io にある

リンク

  • arXiv 2307.05973: https://arxiv.org/abs/2307.05973
  • DOI https://doi.org/10.48550/arxiv.2307.05973: https://doi.org/https://doi.org/10.48550/arxiv.2307.05973
  • PDF: https://proceedings.mlr.press/v229/huang23b/huang23b.pdf
  • コード: https://github.com/huangwl18/VoxPoser
  • プロジェクトページ: https://voxposer.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。