Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment

著者: Peter Schaldenbrand, James McCann, Jean Oh · ICRA 2023

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

自らの実際のストロークから構築した微分可能なシミュレータで筆のストロークを計画し、カメラ画像から再計画して、テキスト、画像、スケッチの目標を達成するロボット画家。

重要な理由

このシステムは、事前学習済みの視覚モデルによる内容生成と、物理的なアームの行動計画を結びつけ、完璧な実行を仮定するのではなく、実際の絵の具と筆のふるまいに適応する。シミュレータはロボット自身の少数のストロークにフィットさせているため、筆や画材が変わったときに再キャリブレーションでき、著者によれば、Sawyer に似た形態を持つ ROS 対応のアームなら、最小限のインターフェース変更で適用できる。

課題

絵画は高次の意味的な目標を伴う動的なプロセスであるが、ほとんどのロボット絵画システムはそれを印刷のように扱う。すなわち、ストロークの計画全体を事前に作り、盲目的に実行する。学習を用いた絵画システムは sim2real ギャップの大きいシミュレータで計画するため、そのストローク計画からは質の低い絵しか得られないか、実ロボットで実行できない。

提案手法

キャリブレーション中にロボットはランダムなストロークを描き、小さなネットワーク（param2stroke）が 3 つのストローク形状パラメータ（太さ、曲がり、長さ）をストロークの見た目に写像するよう学習する。キャンバスへの微分可能な配置と押印と組み合わせることで、完全に微分可能な絵画シミュレータとなる。筆のストロークの計画は、CLIP テキスト、VGG スタイル、画素、または CLIP 特徴の損失に対して勾配降下法で最適化され、実行したストロークの各バッチの後に、実際のキャンバスのカメラ画像を使って残りの計画を再最適化する。

主な知見

  • ロボットが実際に描いたストロークにストロークモデルをフィットさせること（real2sim2real）で、以前の学習ベースの絵画システムが用いた制約なし、または手作業で制約したストロークモデルよりも sim2real ギャップが小さくなる。
  • 完全に微分可能なレンダリングパイプラインにより、CLIP や VGG などの事前学習済みネットワークからの損失が、勾配降下法を通じて筆のストロークのパラメータを直接動かせる。
  • ストロークの各バッチの後にカメラ画像から残りの計画を再最適化することで、計画が確率的な実行に適応できる。再計画しない場合、初期計画からのずれはストロークごとに線形に増大する。
  • クラウドソーシングによる調査では、CLIP の畳み込み特徴に対する意味的複製損失の方が、画素の L2 損失より目標の内容をよく捉えた。
  • ストロークを明るい色から暗い色の順に並べると、筆の洗浄時間が減り、筆が濡れた暗い絵の具を明るい領域へ引きずることがなくなる。

主な結果

  • 50 サンプルでのモデル化したストロークと実際のストロークの平均 L1 距離：param2stroke は 0.012（学習用ストローク）と 0.018（テスト用ストローク）、DiffVG は 0.028 と 0.028。差は p < .01 で有意。
  • 肖像画での Sim2real ギャップ（シミュレーション上の計画と実際の絵の MSE で測定）：FRIDA は 0.029、Schaldenbrand & Oh 2021 は 0.066、Huang et al. 2019 は 0.156。
  • Amazon Mechanical Turk の参加者 103 名による調査で、73.3%（複製に関する質問）と 68.3%（高次の内容に関する質問）が Semantic Replication Objective で描いた絵を好んだ。いずれも p = 0.01 で 50% を有意に上回った。
  • キャリブレーション用ストロークを増やすとストロークモデルの誤差は着実に下がるが、学習／検証用ストロークが約 100 本を超えると改善は小さい（42 本のホールドアウトストロークでテスト）。
  • 実ロボットで実演したタスクには、例示画像のスタイルで言語の説明から描く、目標画像を概念的に描く、ユーザーのスケッチから描く、が含まれる。

制限事項

  • 絵画モデルは簡略化されている。色の選択肢は離散的で、ストロークは互いに独立と仮定され、絵の具の湿り具合や筆に付いた絵の具の量はモデル化されておらず、筆はキャンバスに垂直に固定されている。
  • このシステムにおける動的な創作プロセスの捉え方は、それが依拠する概念よりはるかに制約されており、まだ新しいスタイルを探求したり生み出したりはしない。
  • 自動的な絵の具の混色はなく、人が離散的なパレットを混ぜて用意し、キャンバス、絵の具、水、布の位置は明示的にプログラムされている。
  • 筆に付いた絵の具の量はモデル化されていない最大の変数であり、ストロークモデルにノイズを加える。
  • セットアップには濡れた絵の具のぎらつきを避けるための間接的な拡散照明が必要で、キャリブレーションでは人がキャンバスの四隅をマークし、筆の最も軽いタッチと最も強いタッチを設定する必要がある。

分野への影響

ICRA 2023 Outstanding Deployed Systems Paper 賞のファイナリストで、被引用数は 56。FRIDA の完全なソフトウェアスタックがオープンソースとして公開されている。

概要

絵画とは、視覚的な内容を描き出す芸術的プロセスであり、創作の過程を通じて動的に変化しうるアーティストの高次のコミュニケーション目標を達成するものである。本論文では、言語による説明や画像といった簡単な入力を用いて、人が絵画ロボットと協働してキャンバスに絵を描けるようにする Framework and Robotics Initiative for Developing Arts（FRIDA）を提示する。FRIDA は、創造的な絵画プロセスを計算的にモデル化するためのいくつかの技術的革新を導入する。第一に、実世界からシミュレーションへ、そして実世界へ（real2sim2real）という考え方を採用し、完全に微分可能な絵画シミュレーション環境を開発する。提案するシミュレーション絵画環境が、ロボット絵画に使われている既存のシミュレーション環境よりも現実への忠実度が高いことを示す。第二に、創作プロセスの変化し続けるダイナミクスをモデル化するため、変化していくキャンバスに基づき、高次の目標に照らして絵画計画を継続的に最適化できる計画手法を開発する。内容生成のプロセスと行動計画を独立に順次行う既存手法とは対照的に、FRIDA は絵画の進捗に対する視覚的知覚に基づいて継続的に再計画し、意味的な目標を再評価することで、絵の具と筆を使うことの確率的な性質に適応する。技術的手法とシステム統合の詳細を述べる。FRIDA のソフトウェアは次のアドレスで無料で入手できる：https://pschaldenbrand.github.io/frida/。

リンク

  • arXiv 2210.00664: https://arxiv.org/abs/2210.00664
  • DOI 10.1109/ICRA48891.2023.10160702: https://doi.org/10.1109/ICRA48891.2023.10160702
  • PDF: https://arxiv.org/pdf/2210.00664v1
  • コード: https://github.com/pschaldenbrand/Frida
  • プロジェクトページ: https://pschaldenbrand.github.io/frida/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。