Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting

著者: Peter Schaldenbrand, Gaurav Parmar, Jun-Yan Zhu, James McCann, Jean Oh · ICRA 2024

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

描画ロボットのシミュレーションしたストロークでテキストから画像への生成モデルをファインチューニングし、ロボットに何が描けるか、人間の作品をどう広げるかを学ばせることで、意味的な sim-to-real ギャップを 0.241 から 0.035 に縮める。

重要な理由

大規模な事前学習済み画像モデルは特定のロボットの道具について何も知らず、それが物理的な計画への利用を全般に制限している。本論文は、ロボット自身のシミュレーション出力でファインチューニングすればこうした制約を符号化できることを示しており、オープンソースのコードは XArm、Franka Emika、Rethink Sawyer のロボットプラットフォームで利用できる。

課題

以前のロボット描画システムである FRIDA では、ユーザーが提供できるのは最初のプロンプトか画像だけで、CLIP に導かれた計画はテキストに大まかにしか合わないノイズの多い絵を生む。事前学習済みのテキストから画像への生成モデルはより明確な画像を出すが、ロボットの筆、色、ストロークの制限を知らず、キャンバスの編集を求められると、人間の既存の作品を上書きするような大きな変更を加えることが多い。

提案手法

CoFRIDA は FRIDA のシミュレータを使って LAION のアートのサブセットの画像を描き、ストロークを取り除いて（すべて、ランダムな一部、顕著な領域、または意味的な領域）部分的な絵と完全な絵のペアを作る。シミュレーションした絵のキャプションに対する CLIPScore が 0.5 未満のペアは捨てる。Instruct-Pix2Pix を低い学習率でファインチューニングし、部分的な絵とテキストから完全な絵を予測させる。実行時にはキャンバスがどう見えるべきかをこのモデルが提案し、FRIDA がそこに至るストロークを計画し、ユーザーが満足するまで人間とロボットが交互に描く。

主な知見

  • 共同描画はインペインティングとは異なる。編集は、ユーザーが指定した局所領域を描き直すのではなく、キャンバス全体を保ちつつそれに応じたものでなければならない。
  • ピクセルレベルの sim-to-real ギャップのほかに意味的なギャップがある。ロボットが描けない画像は描いたときに意味を失う。ここでは、生成画像とそのシミュレーションした絵との CLIP 埋め込みのコサイン距離として測っている。
  • ファインチューニング後、モデルは各設定に適応する。太い筆では目立つ内容を、固定パレットやマーカーでは少ない色を、ストローク数の上限があれば疎な描画を出す。
  • 事前学習済みモデルでピクセル空間上の意味を計画し、それを低レベルのストロークプランナーへ引き渡すことで、テキストの目標に対してストロークを直接最適化したときのノイズの多い出力を避けられる。

主な結果

  • 手法ごとに 40 件の共同描画ケース（シミュレーションした 35 本のストロークから始めた Sharpie による描画）で、意味的ギャップ ∆sem はファインチューニングなしの 0.241 からありの 0.035 に、ピクセルギャップ ∆pix は 0.195 から 0.052 に低下した。
  • CLIPScore は FRIDA が 0.741、CoFRIDA が 0.624、ファインチューニングなしが 0.595（BLIPScore は 0.192、0.178、0.162）。FRIDA は CLIPScore を直接最適化するため、著者らはこれらのスコアが FRIDA に有利だとみなしている。
  • 24 人の参加者による MTurk の調査（画像ペアごとに 4 件の評価、ベースラインごとに 160 件の比較）では、CoFRIDA は FRIDA やファインチューニングなしの CoFRIDA よりキャプションに明確に合致するとおおむね選ばれたが、どちらの画像も合わないと感じた参加者も多かった。
  • LAION のファインチューニングデータ全体で、∆pix と CLIPScore の相関は有意でなかった（Pearson −0.08、p = 0.08）一方、∆sem には有意な負の相関があった（−0.48、p = 2.4e−31）。著者らはこれを、モデルがスタイル転送ではなくロボットの能力を学習していると解釈している。
  • アクリル絵の具と Sharpie による実際の絵は、ファインチューニングに単一の画材しか使っていないにもかかわらず、水彩を含むファインチューニングデータ外の人間の内容に応じることができた。

制限事項

  • 人間とロボットの離散的な交代型インタラクションに限られる。
  • 訓練用の部分的な絵は人手で設計したストローク除去で作られている。それらの作り方を学習するエンドツーエンドの手法の方が良い結果を出す可能性がある。
  • Stable Diffusion とその訓練データのバイアスの影響を受けるため、著者らは研究用途に限ることを推奨している。LAION に有害なコンテンツが含まれると報告された後、コードを COCO に切り替えたが、品質の低下は見られなかった。
  • 多数の実サンプルを作るのは現実的でなかったため、sim-to-real ギャップは実際の絵ではなく FRIDA のシミュレーションに対して測定している。
  • ロボットが一度に使える描画設定は一つだけである（12 色のアクリル、固定 4 色のアクリル、または黒の Sharpie）。

分野への影響

IEEE ICRA 2024 Best Paper Award on Human-Robot Interaction を受賞し、被引用数は 32。コードは FRIDA リポジトリでオープンソースとして公開されており、XArm、Franka Emika、Rethink Sawyer のロボットプラットフォームで利用できる。

概要

FRIDA のようなこれまでのロボットによる絵画と描画の研究は、sim-to-real ギャップの縮小とユーザーの入力モダリティの拡張に注力してきたが、こうしたシステムとのインタラクションは一般に入力段階にしか存在しない。インタラクティブな人間とロボットの協働描画を支援するため、我々は Collaborative FRIDA（CoFRIDA）というロボット描画フレームワークを導入する。これは、人間の協働者がすでに描いた内容を修正し、それに応じることで共同描画ができる。FRIDA の大きな弱点であるテキストと画像の整合性を改善するため、我々のシステムは事前学習済みのテキストから画像への生成モデルを用いる。しかし、事前学習済みモデルは実世界の共同描画の文脈ではうまく機能しない。それらは（1）ロボットの制約と能力を理解しておらず、（2）キャンバスに非現実的な編集を加えたり内容を上書きしたりせずに共同描画を行うことができないからである。我々は両方の問題に対処できる自己教師ありファインチューニングの手順を提案し、最先端の事前学習済みのテキストと画像の整合モデルをロボットとともに用いて、物理世界での共同描画を可能にする。我々のオープンソースの手法 CoFRIDA は、白紙のキャンバスからでも人間が作成した作品のあるキャンバスからでも、FRIDA より入力テキストプロンプトに明確に合致する絵画と描画を生み出す。より一般的には、我々のファインチューニング手順はロボットの制約と能力をファンデーションモデルへ符号化することに成功しており、sim-to-real ギャップを縮める有効な方法として有望な結果を示している。

リンク

  • arXiv 2402.13442: https://arxiv.org/abs/2402.13442
  • DOI 10.1109/ICRA57147.2024.10610618: https://doi.org/10.1109/ICRA57147.2024.10610618
  • PDF: https://arxiv.org/pdf/2402.13442v1
  • コード: https://github.com/cmubig/Frida
  • プロジェクトページ: https://pschaldenbrand.github.io/cofrida/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。