Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding

著者: Huy Ha, Shuran Song · CoRL 2021

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

双腕ロボットが、固定されたつかむ・引き伸ばす・振り広げる動作のために、くしゃくしゃの布のどこをつかむかを自己教師ありで学習し、被覆率とステップ数で準静的なピックアンドプレース（pick & place）を上回る。

重要な理由

本論文は、学習した単一の高速プリミティブで、数回の動作で布を広げ、到達範囲より大きい布を扱い、長方形から T シャツへ転移できることを示す。実システムは力センサの代わりに 2 台目の RGB-D カメラで布が張ったことを検出し、学習信号は真上からのカメラのマスクから得るため、ハードウェアがシンプルに保たれる。

課題

布の展開システムの多くは、ピックアンドプレース（pick & place）のような単腕の準静的動作を用いており、ひどくくしゃくしゃになった布では多数のインタラクションを必要とし、アームの到達範囲より大きい布は扱えない。角、縁、しわに基づくヒューリスティック手法は、それらのキーポイントが遮蔽されている、見えない、あるいは正方形でない布には存在しない場合に失敗する。

提案手法

FlingBot は双腕の動作プリミティブ（2 点を真上からつまんで把持し、0.30 m まで持ち上げてぴんと張り、1.4 m/s で前方に 0.70 m 振り出し、0.50 m 引き戻し、置く）を固定し、どこをつかむかだけを学習する。把持は中心ピクセル、角度、幅でパラメータ化され、アームの順序と把持幅の制約が線形かつ独立に保たれる。価値ネットワークは、真上からの画像に対して 12 の回転と 8 のスケールでピクセルごとの被覆率の増分を予測する（空間行動マップ）。このネットワークは PyFleX ベースの独自シミュレータで自己教師ありで学習され、その後 2 台の実機 UR5 アームでファインチューニングされる。

主な知見

  • 引き伸ばしと振り広げの動作を固定することで、学習は 2 つの把持点の選択に帰着する。振り広げ速度も学習する場合（FlingBot-S）は有意な改善がなかった。
  • 双腕の把持を中心、[−90°, 90°] の角度、幅でパラメータ化すると、左右の順序とアーム間距離の制約が線形かつ独立になる。
  • 空間行動マップによる並進・回転・スケールの同変性の利用が不可欠である。把持パラメータを直接回帰する場合（Fling-Reg）、通常の長方形での被覆率の増分は +0.3% にとどまった。
  • 試行錯誤を通じて、方策は見えている角や縁をつかむこと、あるいは振り広げてそれらを露出させることを学習した。これは以前のヒューリスティック手法が人手で設計していた戦略である。
  • 振り広げは実質的な到達範囲を広げるため、アームの到達範囲より大きい布でも広げることができる。

主な結果

  • シミュレーション、通常の長方形（最終 / 増分被覆率）：FlingBot は 91.9% / +63.1% で、Pick&Place 53.0 / +24.2、Pick&Drag 58.0 / +29.2、Stretch&Drag 77.2 / +48.4 を上回った。
  • シミュレーションにおいて、未知の通常の長方形の布で 3 回の動作以内に 80% を超える被覆率。
  • 到達範囲を超える大きな長方形：最終被覆率 79.2%、増分被覆率 +52.0% で、準静的ベースライン（+24.8%、+27.1%、+23.1%）の約 2 倍。
  • 学習時に見ていない T シャツ：シミュレーションで最終被覆率 93.3% / 増分被覆率 +46.8%。
  • 実機の双 UR5 システム、布の種類ごとに 10 回のテストエピソード：通常の長方形、大きな長方形、シャツでの最終被覆率は 81.9%、88.5%、89.2% で、Pick&Place は 43.2%、38.4%、42.7%。ファインチューニングにより通常の布の被覆率は 69.8% から 81.9% に向上した。
  • 振り広げプリミティブ 1 回あたりの所要時間の中央値は 16.7 s で、ピックアンドプレースは 8.8 s。これに加えて、それぞれ 2.5 s と 2.9 s のオーバーヘッドがある。

制限事項

  • 折りたたみのような、より複雑なゴール条件付きの布タスクには今後の研究が必要であり、著者らは動的動作と準静的動作を布の姿勢推定と組み合わせて取り組むことを提案している。
  • 実験ではマスクを容易にするため、無地の黒い作業領域とテクスチャのない色付きの布を使用している。任意のテクスチャにはセグメンテーションや背景差分の追加が必要になる。
  • 実世界の結果は、布の種類ごとに 10 回のテストエピソードの平均であり、実世界での把持エラーは除外されている。
  • 振り広げは必要な動作回数が少ないにもかかわらず、ピックアンドプレースより時間がかかる（中央値 16.7 s 対 8.8 s）。
  • 実機のセットアップでは、つまみ把持を助けるために 2 インチのゴムマットとゴム製のグリッパ指カバーに頼っており、収束までの学習には GTX 1080 Ti 1 枚で約 6 日かかった。

分野への影響

CoRL 2021 Best System Paper Award を受賞し、記載の被引用数は 229。著者らはプロジェクトページを通じてコード、シミュレーション環境、データ、実験動画を公開しており、任意の布メッシュを読み込める PyFleX 上の独自シミュレータも含まれている。

概要

高速な動的動作（例えば振り広げや投げ）は、効率を高め、物理的に手の届く範囲を実質的に広げることで、変形物体との日常的なインタラクションにおいて重要な役割を果たしている。しかし、これまでの研究の多くは布操作を単腕の準静的動作のみで扱ってきた。これは難しい初期布配置に対して多数のインタラクションを必要とし、布の最大サイズをロボットの到達範囲によって厳しく制限する。本研究では、提案する自己教師あり学習フレームワーク FlingBot により、布の展開における動的な振り広げ動作の有効性を示す。本手法は、双腕構成において、つかむ・引き伸ばす・振り広げるというプリミティブを用いて、任意の初期配置から 1 枚の布を広げる方法を視覚観測から学習する。最終的なシステムは、未知の布に対して 3 回の動作以内に 80% を超える被覆率を達成し、システムの到達範囲より大きい布を広げることができ、長方形の布のみで学習したにもかかわらず T シャツにも汎化する。また、実世界の双腕ロボットプラットフォーム上で FlingBot をファインチューニングしたところ、布の被覆率を準静的ベースラインの 4 倍以上増加させた。FlingBot のシンプルさと準静的ベースラインを上回る性能は、変形物体操作における動的動作の有効性を示している。

リンク

  • arXiv 2105.03655: https://arxiv.org/abs/2105.03655
  • DOI 10.48550/arXiv.2105.03655: https://doi.org/10.48550/arXiv.2105.03655
  • PDF: https://proceedings.mlr.press/v164/ha22a/ha22a.pdf
  • コード: https://github.com/columbia-ai-robotics/flingbot
  • プロジェクトページ: https://flingbot.cs.columbia.edu/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。