Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors

著者: Uksang Yoo, Adam Hung, Jonathan Francis, Jean Oh, Jeffrey Ichnowski · Humanoids 2024

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

RoPotter は、粘土の 2D 断面と、隠れた点のメッシュベースの復元を用いて、ろくろ上で粘土を 2 種類の器に成形することを、それぞれ 40 回のデモからロボットに教える。

重要な理由

自由度を持たない単純な剛体の指だけを用いた、連続的な体積変形物体マニピュレーションの長期タスクを定義し、安価なタスクの事前知識（対称性と局所剛性）が学習されたダイナミクスモデルの代わりになりうることを示している。作られた器とデモの器を Chamfer 距離と CLIP 類似度で比較する評価方法は、明確な成功ラベルのないタスクに対して実用的なアプローチである。

課題

粘土のような体積を持つ変形物体はモデル化が難しい。学習されたダイナミクスモデルは多くのサンプルを必要とし、接触において大きな sim-to-real ギャップに直面するため、従来の粘土の研究では、離散的でタスク固有の行動を用い、行動の合間に物体をはっきり観察していた。ろくろ上では粘土は接触のもとで連続的に変形し、ロボットの指によって一部が隠れるため、どちらのアプローチも適さない。

提案手法

RoPotter は陶芸タスクの構造的事前知識を利用する。ろくろによって粘土は放射対称になるため、RoPotter-2D は重心を通る平面から 5 mm 以内の点からなる断面で粘土を表す。一方 RoPotter-Mesh は初期断面にメッシュを当てはめ、頂点を指の外へ押し出し、見えている頂点を観測点へ移動させ、As-Rigid-As-Possible（ARAP）変形を適用して隠れた粘土を推定する。3D Diffusion Policy（DP3）を基にし、2D エンコーダ版も備えた拡散ポリシーを、遠隔操作によるデモから得たこれらの状態で学習させる。

主な知見

  • ろくろ上の放射対称性により、3D の粘土の状態を、直径、高さ、壁の厚さを捉えたまま 2D 断面に縮約できる。
  • 指の接触を扱い ARAP で局所剛性を課すことで、指の陰に隠れた粘土を復元できる。ARAP のステップを加えると Chamfer 距離は 66.3% 減少した。
  • 開口部の直径は粘土の質量に依存するため、ポリシーは観測された状態に応じて壁を引き上げる段階を調整しなければならない。DP3 ベースラインは最も適応できず、粘土が多いと器が高すぎ、少ないと低すぎた。
  • デモの器自体にも約 2.0 mm のばらつきがあり、どのポリシーでも Chamfer 距離でどこまで近づけるかはこれによって制限される。

主な結果

  • 250 g の粘土を用いた幅広の器のタスクで、RoPotter-Mesh の最終形状誤差は DP3 ベースラインより 44.4% 低かった（Chamfer 距離 2.75 mm 対 4.95 mm）。
  • メッシュ再構成のアブレーション（断面 / 点群全体での Chamfer 距離）：完全な手法は 1.50 / 2.58 mm、ARAP なしは 4.45 / 7.74 mm、接触処理なしは 15.41 / 17.01 mm、観測による参照は 0.0 / 2.46 mm であった。
  • 250 g または 350 g の粘土を用いたすべてのタスクで、デモの器に対する Chamfer 距離の分布は、提案した 2 つのポリシーのいずれもベースラインより低かった。
  • DP3 が最良だったのは 350 g の背の高い器のみであり（1.96 mm）、このとき RoPotter-2D も 2.0 mm 未満（1.99 mm）にとどまった。DP3 は 300 g の背の高い器の試行で 1 回失敗した。
  • デモの器に対する CLIP 類似度は手法全体で 0.940 から 0.974 の範囲にあり、幾何学的指標と一致した。

制限事項

  • 著者らは、RoPotter-Mesh が適切に初期化されたメッシュと、一貫して正確に観測されたロボットの行動に依存していると述べている。これらの仮定は彼らの管理された構造化環境では成り立つが、一般には成り立たない。
  • ポリシーはゴール条件付きではなく、器の形状ごとにそれぞれのデモから学習される。有用なゴール表現の定義は今後の課題とされている。
  • このタスクには明確な成功基準がなく、著者らは Chamfer 距離が外れ値の点に影響を受け、高周波の特徴を平均化してしまうと指摘している。
  • 本手法は放射対称性と準静的な粘土を仮定しており、動的な効果を無視している。
  • RoPotter-Mesh のポリシーの結果は幅広の器についてのみ報告されており、背の高い器の比較は DP3 と RoPotter-2D のみを対象としている。

分野への影響

Humanoids 2024 Best Oral Presentation Award のファイナリストであり、被引用数は 11 である。著者らは robot-pottery.github.io で補足資料、実験データ、可視化を公開している。

概要

人間は、多種多様な変形物体を連続的に操作して複雑な形状にすることができる。これは、物体の材料特性と力学を直感的に理解しているおかげであり、視覚が遮られていても物体の状態を推論できるからである。こうした能力によって、生地を使った料理から陶芸による自己表現まで、多様なタスクを行うことができる。しかし、同様のタスクを頑健に実行するロボットシステムの開発は依然として難しい。現在の手法は、体積を持つ変形物体を効果的にモデル化し、それらが一般に示す複雑な振る舞いを推論することに苦労しているからである。体積を持つ物体を変形させられるロボットシステムとアルゴリズムを研究するため、ろくろ上で粘土を連続的に変形させるという新しいロボットタスクを導入する。知覚と陶芸スキル学習のためのパイプライン RoPotter を提案し、陶芸というタスクに特有の構造的事前知識を活用して陶芸スキルの学習過程を単純化できることを示す。具体的には、粘土の断面を平面に投影して粘土の状態を表現し、次元を削減できる。また、粘土を連続的に変形させられるロボットエージェントに向けて、遮蔽された粘土の状態をメッシュベースで復元する手法も示す。実験により、粘土の変形挙動に基づく構造的事前知識を用いた次元削減表現を使うことで、RoPotter が長期的な陶芸タスクを、最先端のベースラインと比べて最終形状誤差を 44.4% 低くして実行できることを示す。

リンク

  • arXiv 2408.02184: https://arxiv.org/abs/2408.02184
  • DOI 10.1109/Humanoids58906.2024.10769600: https://doi.org/10.1109/Humanoids58906.2024.10769600
  • PDF: https://arxiv.org/pdf/2408.02184v1
  • プロジェクトページ: https://robot-pottery.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。