Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

GenAug: Retargeting behaviors to unseen situations via Generative Augmentation

著者: Zoey Chen, Sho Kiami, Abhishek Gupta, Vikash Kumar · RSS 2023

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

GenAug は深度でガイドされたテキストから画像への拡散モデルを用いて、少数の実デモの中の物体、妨害物、背景を描き直し、CLIPort のピックアンドプレース方策が未見のシーンで機能するようにする。

重要な理由

1 つの単純な環境で 10 件のデモンストレーションから学習した方策を、追加のロボットデータを収集することなく、異なる実シーンで使えるようになる。物体マスクが必要なのはデモンストレーションのみで、テスト時には不要である。

課題

ロボット学習には大規模で多様なデータセットが必要だが、実世界での収集には費用がかかり、多くのロボットデータセットは単一の環境で数時間分のデータしかない。色のジッタ、ぼかし、切り抜きなどの標準的なデータ拡張は低レベルの見た目の変化をカバーするが、新しい妨害物、背景、物体の外観といった意味的な変化はカバーしない。

提案手法

GenAug は、物体マスクと較正済みのカメラ姿勢をもつ RGBD のデモンストレーションを入力とし、事前学習済みの深度でガイドされたテキストから画像への拡散モデルを用いて、カテゴリ内で物体のテクスチャを変え、Google Scanned Objects と Free3D のメッシュを先にレンダリングして物体のカテゴリを入れ替え、衝突判定をした妨害物を加え、背景を描き直す。つかむ物体と目標の位置は固定されたままなので、元のピックアンドプレースの行動ラベルは有効なままである。各デモンストレーションを 100 回拡張し、その結果で CLIPort の方策を学習する。

主な知見

  • 物体と目標のおおよその位置が変わらなければ、ピックアンドプレースの行動は大きな見た目の変化があっても有効なままであるため、生成した画像で元の行動ラベルを再利用できる。
  • 深度でガイドした生成の前に物体のメッシュをレンダリングすることで、カテゴリをまたぐ置き換えを 3D 的に一貫させられる。単純なインペインティングでは不自然な画像が生じることが多かった（付録 A）。
  • コピーアンドペーストやランダム背景による拡張は新しい環境へのロバスト性を高めるが、未見の物体では GenAug に及ばない。著者らはこれを、物理的にもっともらしく意味的に有意義なシーンが重要であることの証拠と解釈している。
  • デモンストレーション 1 件あたりの拡張数を 0 から 10、50、100 と増やすにつれて成功率が上がる（図 11）。

主な結果

  • 実世界、10 タスク、各 10 件のデモンストレーション：未見の環境で平均成功率 85%、未見の置き先の物体で 52%、未見のつかむ物体で 45%（表 I、条件ごとに 10 シーン）。
  • GenAug なしで学習した CLIPort との実世界での比較（表 II、条件ごとに 5 シーン）：未見の環境で 80% 対 38%、未見の置き先の物体で 54% 対 8%、未見のつかむ物体で 46% 対 10%。
  • 要旨と結論では、GenAug なしの学習と比べて、新しいシーンと物体への汎化で 40% の改善が報告されている。
  • シミュレーション、未見の環境、100 件のデモ（表 III）：GenAug は 77.6（TransporterNet）と 71.9（CLIPort）、深度ありの GenAug は 91.2 と 73.4 で、拡張なしでは 9.8 と 14.4 であった。
  • GenAug は表 III のすべてのセルで最良の手法というわけではない。たとえば、TransporterNet、100 件のデモ、未見の環境では、Random Background が 79.1 で、GenAug の 77.6 を上回る。

制限事項

  • GenAug は行動ラベルを拡張せず、材質、摩擦、変形について推論しない。元の行動がそのまま有効で、追加した物体と衝突しないことを仮定している（著者らの記述）。
  • 動画のフレーム間で見た目の一貫性を保証できない（著者らの記述）。
  • 1 つのシーンの拡張に約 30 秒かかり、方策オンの RL などの手法には実用的でない可能性がある（著者らの記述）。
  • 物体と背景の色が似ている場合、妨害物が非常に明るいか似た色である場合、テーブル上の物体が多すぎる場合に失敗が起こる。
  • デモンストレーションには手作業でラベル付けした物体マスク、較正済みのカメラ姿勢、物体メッシュのライブラリが必要であり、本手法は吸着グリッパによる卓上のピックアンドプレースでのみ試験された。

分野への影響

RSS 2023 Best System Paper Award のファイナリストで、被引用数は 165 である。公式のプロジェクトページ genaug.github.io にはコードリポジトリへのリンクがある。

概要

ロボット学習の手法は、タスク、環境、物体にわたって広く汎化する可能性をもつ。しかし、これらの手法には大規模で多様なデータセットが必要であり、実世界のロボットの環境ではその収集に費用がかかる。ロボット学習が汎化するには、ロボット自身の経験を超えたデータ源や事前知識を活用できなければならない。本研究では、ウェブから収集した大規模なコーパスで事前学習された画像-テキスト生成モデルが、そのようなデータ源になりうると主張する。これらの生成モデルは大部分がロボット以外のデータで学習されているにもかかわらず、広い汎化を可能にする形で、ロボット学習の過程に事前知識を与える効果的な手段となりうることを示す。特に、事前学習済みの生成モデルが、意味的に有意義なデータ拡張のための効果的なツールとなりうることを示す。これらの事前学習済みモデルを活用して適切な「意味的」データ拡張を生成することで、方策の汎化を大幅に向上できるシステム GenAug を提案する。GenAug を卓上のマニピュレーションタスクに適用し、ごくわずかな実世界のデータのみで、行動を新しい状況に再ターゲットできることを示す。実世界の複数の物体操作の問題で本システムの有効性を実証し、新しいシーンと物体への汎化において 40% の改善を示す。

リンク

  • arXiv 2302.06671: https://arxiv.org/abs/2302.06671
  • DOI 10.48550/arXiv.2302.06671: https://doi.org/10.48550/arXiv.2302.06671
  • PDF: https://arxiv.org/pdf/2302.06671v1
  • コード: https://github.com/genaug/genaug
  • プロジェクトページ: https://genaug.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。