Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

SORNet: Spatial Object-Centric Representations for Sequential Manipulation

著者: Wentao Yuan, Chris Paxton, Karthik Desingh, Dieter Fox · CoRL 2021

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

SORNet は、物体の 1 つの正準ビューを与えると RGB 画像内の各物体を埋め込む。小さな読み出し MLP が、その埋め込みを未知の物体に対するスキルの前提条件と 3D 方向に変換する。

重要な理由

予測された述語は記号的なタスク・動作プランナに渡されるため、同じネットワークを再学習やファインチューニングなしで新しいタスクや新しい物体に使える。著者らは実ロボットのカメラ画像から予測した述語でプランナの状態を埋めてオープンループで実行し、方向の予測を目標物体への視覚サーボに用いている。

課題

逐次マニピュレーションでは、プランナが次のスキルを選ぶ前に、例えばブロックの上面が空いているかなど、物体間でどの空間関係が成り立つかを知る必要がある。明示的な状態推定器は、任意の物体の集合、特に接触している物体に一般化するのが難しく、エンドツーエンドのネットワークは学習したタスクに縛られたままである。ブロックを積むよう学習したネットワークは、単純にそれを崩すことはできない。

提案手法

SORNet は Vision Transformer であり、シーンの RGB コンテキストパッチと、クエリトークンとしての対象物体の正準ビューを入力とし、クエリがシーンからのみ読み取るように注意をマスクして、クエリ物体ごとに 1 つの埋め込みを出力する。2 層の MLP 読み出しネットワークが、単一または対の埋め込みを単項・二項の述語や連続的な 3D 方向に写像し、そのパラメータは物体の数に依存しない。学習には、Franka Panda がブロックを積む様子を真値の述語でラベル付けした新しいシミュレーションデータセット Leonardo を用いる。

主な知見

  • シーン内での物体の見た目と一致する必要のない正準物体ビューを条件とすることで、モデルは再学習なしに、照明、姿勢、遮蔽が変化しても未知の物体を見分けられる。
  • クエリトークン間の注意と、コンテキストパッチからクエリへの注意をマスクすることで、出力が置換同変になり、推論時に任意の数の物体をクエリできる。
  • 論理的な述語ラベルのみで学習した埋め込みも連続的な空間情報を保持している。凍結した埋め込み上の回帰器は、姿勢の教師で学習したベースラインよりもよく 3D 方向を予測する。
  • 物体の条件付けを持たないベースラインは未知の物体でゼロショットでは失敗し、100-shot のファインチューニング後も大きく後れをとる。
  • 3 つのカメラ視点を集約すると遮蔽に対処しやすくなり、グリッパの状態を加えると has-object のようなグリッパに関わる述語が改善する。

主な結果

  • CLEVR-CoGenT のゼロショット関係精度：valA で 99.006%、valB で 98.222%。MDETR は 84.950% / 59.627%、学習ですべての物体を見た MDETR-oracle は 97.944% / 98.052%。
  • Leonardo の未知物体での述語分類（52 述語）：SORNet M-View (G) は精度 98.9%、全一致精度 63.6%、F1 89.5 に達し、最良の 100-shot ベースラインは 92.8%、4.1%、0.0。
  • 5 個と 6 個の物体を含むシーン（4 個で学習）：精度は 98.5% と 98.0% で、述語が 70 と 102 に増えるにつれて全一致精度は 45.5% と 29.7% に低下。
  • 実世界のロボット画像 30 枚：精度 96.3%、全一致精度 26.7%、F1 76.5。
  • スキルの実行可能性の精度：SORNet M-View (G) は 76.3%、ResNet18 と ViT のベースラインは約 27% で、後者は grasp、align、place、lift で 0%。
  • 相対 3D 方向の回帰（単位ベクトル上のユークリッド誤差、学習例 1000 件）：SORNet（事前学習済み、マルチビュー）は物体-物体 0.1458、エンドエフェクタ-物体 0.1777。ResNet18 は 0.4308 / 0.3251、事前学習済み CLIP-ViT は 0.6145 / 0.4960。

制限事項

  • 読み出しネットワークが扱うのは単項と二項の関係のみであり、3 つ以上の物体が関わる関係は今後の課題とされている。
  • 空間関係は単一の RGB フレームから予測され、時間的推論は扱われていない。
  • 実画像では、1 つのブロックが 2 つのブロックの間に積まれているような、学習中に一度も見ていない状況でモデルが誤りを犯し、30 枚の実画像での全一致精度は 26.7% である。
  • 二項述語の数が 2 次的に増えるため、物体が増えると全一致精度は低下する（6 物体で 29.7%）。
  • 学習データは 4 個のブロックを積むという単一のタスクのみを扱っている。実ロボットでの計画のデモはオープンループで実行され、補足動画でのみ示されている。

分野への影響

CoRL 2021 Best System Paper Award のファイナリストで、被引用数は 82。論文は空間述語でラベル付けされた RGB 観測の Leonardo データセットを提供しており、公式プロジェクトページからコード（github.com/wentaoyuan/sornet）にリンクされている。

概要

逐次マニピュレーションタスクでは、ロボットが環境の状態を知覚し、望ましいゴール状態に至る一連の行動を計画する必要があり、その際、生のセンサ入力から物体エンティティ間の空間関係を推論する能力が極めて重要である。明示的な状態推定やエンドツーエンド学習に依存する先行研究は、新しい物体や新しいタスクへの対応に苦労している。本研究では、対象物体の正準ビューを条件として RGB 画像から物体中心の表現を抽出する SORNet（Spatial Object-Centric Representation Network）を提案する。SORNet が学習した物体埋め込みは、空間関係分類、スキルの前提条件分類、相対方向回帰という 3 つの空間推論タスクにおいて、未知の物体エンティティへゼロショットで汎化し、ベースラインを大幅に上回ることを示す。さらに、逐次マニピュレーションのタスク計画において学習済み物体埋め込みを用いることを実証する実世界のロボット実験を示す。

リンク

  • arXiv 2109.03891: https://arxiv.org/abs/2109.03891
  • DOI 10.48550/arXiv.2109.03891: https://doi.org/10.48550/arXiv.2109.03891
  • PDF: https://proceedings.mlr.press/v164/yuan22a/yuan22a.pdf
  • コード: https://github.com/wentaoyuan/sornet
  • プロジェクトページ: https://wentaoyuan.github.io/sornet

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。