Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects

著者: Ben Eisner, Harry Zhang, David Held · RSS 2022

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

ネットワークが関節物体の各点がどのように動くかを予測し、ロボットは動きが最大の点をつかんでそれに沿って動かす。実データでの学習なしで、実世界で 64% の成功率に達した。

重要な理由

この表現は物体の運動学的な木構造の知識を必要としないため、シミュレーションの点群のみで学習した単一のモデルが、一度も見たことのないカテゴリの物体を開け、ファインチューニングなしで実機の Sawyer アームに転移した。実務者にとっては、知覚（部品がどこでどう動くか）を単純な解析的制御則から切り離すことで、方策を閉ループに保ち、検証しやすくしている。

課題

家庭のロボットは、ドア、引き出し、ふた、その他同様の関節物体を開けなければならないが、それらの形状や運動学はカテゴリ内でもカテゴリ間でも大きく異なる。関節軸などの関節パラメータを推定する手法は、通常、物体構造に関するクラス固有の知識に依存するため、新しいカテゴリには適用できない。

提案手法

著者らは 3D Articulation Flow（3D 関節運動フロー）を定義する。これは点群の各点について、その点が属する部品をわずかに開いたときにその点が動く正規化された方向である。ArtFlowNet は PointNet++ ベースのネットワークで、シミュレーションの PartNet-Mobility の物体を用いて教師あり学習で訓練され、単一の点群からこのフローを予測する。続いて FlowBot3D は、予測フローが最大の点を（エッジと曲率のフィルタを条件として）吸着グリッパでつかみ、フローの再予測を繰り返しながら、接触点付近で最大の可視フローベクトルに沿ってグリッパを動かし、部品が開くまで続ける。

主な知見

  • 直動関節では、どの点においても最適な引く方向は関節軸に沿った方向であり、回転関節では軸から最も遠い点での接線方向である。したがって、関節運動フローが最大の点が理想的な把持点となる。
  • 点ごとのフローは階層構造に依存せず単位球内に収まるため、平行移動とスケーリングに対して不変であり、クラス固有の運動学モデルなしに学習できる。
  • 行動クローニングや DAgger の方策は、真のフローを入力として与えられても性能が低かった一方、解析的なフロー追従方策は良好な結果を示した。
  • シミュレーションでレンダリングした点群は実際の深度データとのドメインギャップが小さく、著者らはこれがシミュレーションから実機への直接の転移を可能にしたとしている。学習時の視点のデータ拡張は転移に役立ったが、シミュレーションではほとんど変化がなかった。

主な結果

  • シミュレーション（ManiSkill と PartNet-Mobility、成功は可動範囲の 90% 超）：FlowBot3D は学習カテゴリの未見インスタンスで平均成功率 0.77、10 の未見カテゴリで 0.69。真のフローを用いるオラクルは 0.92 と 0.82 に達した。
  • 最良の行動クローニングのベースライン（DAgger Oracle + F）は、学習カテゴリで成功率 0.33、未見カテゴリで 0.16。UMPNet 型のベースラインは 0.52 と 0.45 であった。
  • 開いた状態までの平均正規化距離：FlowBot3D は 0.12（学習カテゴリ）と 0.15（未見カテゴリ）、UMPNet 型のベースラインは 0.29 と 0.36。
  • 実世界、14 個の家庭用品、Sawyer アームでの 70 試行：全体の成功 45/70（64.3%）、接触の成功 64/70（91.4%）、接触後の動作の成功 45/64（70.3%）。
  • 同じ接触点選択を用いた実世界の DAgger ベースラインは 10/70 試行で成功し（14.3%）、平均距離は FlowBot3D の 0.22 に対して 0.73 であった。

制限事項

  • 実世界での失敗の多くはフロー予測の誤りによるもので、ロボットがシーンの大部分を遮ったときや関節運動を検出できなかったとき（たとえば実物のオーブン）によく起きた。また、密着できない点での吸着接触の失敗もあった。
  • 著者らは、多くの失敗モードをなくすには、よりコンプライアンスの高いアームコントローラと、より強力な接触品質予測モジュールが必要だと述べている。誤った予測のオンライン修正は今後の課題とされている。
  • 本手法は、1-DoF の回転関節または直動関節をもち、ベースが固定された物体を対象とする。球関節、自由浮遊物体、変形物体は対象外である。
  • 実際の吸着グリッパはエッジ、取っ手、曲率の高い箇所では密着できないため、把持点は理想的なフロー最大の点ではなく、手作業で調整したエッジ、曲率、距離のヒューリスティクスで選ばれる。
  • 実世界のテスト物体は、作業空間に収まり、吸着しやすい表面をもち、深度カメラにとって暗すぎたり反射が強すぎたりしないものである必要があった。

分野への影響

本論文は RSS 2022 Best Paper Award のファイナリストとなり、被引用数は 168 である。著者らはプロジェクトのウェブサイトでコード、データ、補足資料を公開している。

概要

我々は、3D の関節物体を知覚し操作する新しい手法を探究する。この手法は汎化し、ロボットが未見のクラスの物体を動かせるようにする。多様な関節物体の各部品の潜在的な動きを予測するよう学習し、物体を動かすためのシステムの下流の動作計画を導く、視覚ベースのシステムを提案する。物体の動きを予測するために、関節運動のもとでの点群中の各点の動きの方向を表す密なベクトル場を出力するニューラルネットワークを学習する。次に、このベクトル場に基づく解析的な動作計画器を用いて、関節運動を最大化する方策を実現する。視覚システムは完全にシミュレーションで学習し、シミュレーションと実世界の両方で、未見の物体インスタンスや新しいカテゴリに汎化する能力を、ファインチューニングなしで Sawyer ロボットに方策を展開して示す。結果から、本システムがシミュレーションと実世界の両方の実験で最先端の性能を達成することが示された。

リンク

  • arXiv 2205.04382: https://arxiv.org/abs/2205.04382
  • DOI 10.48550/arXiv.2205.04382: https://doi.org/10.48550/arXiv.2205.04382
  • PDF: https://arxiv.org/pdf/2205.04382v1
  • コード: https://github.com/r-pad/flowbot3d
  • プロジェクトページ: https://sites.google.com/view/articulated-flowbot-3d/home

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。