Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

著者: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu · CoRL 2023

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

RoboCook は工具ごとに 20 分の実データで学習した GNN で生地と工具の相互作用をモデル化し、PointNet++ 分類器で工具を選び、交換可能な 15 種類の工具で餃子を作る。

重要な理由

このシステムは、工具交換機構を備えた汎用アームが 9 ステップの餃子作りの手順を完了し、作業の途中で人が生地を変形させたり、生地を足したり、取り替えたりしても立て直せることを示している。方策は 1 動作につき 1 回の順伝播で済むため、計画は数秒で終わる。同じ学習済みモデルを使う最適化ベースのプランナでは数分かかる。

課題

餃子作りのような長いホライズンの柔軟物タスクでは、どの工具を使うかという離散的な選択と、それをどう動かすかという連続的な選択が必要であり、しかも弾塑性の生地はモデル化の難しい変形をする。従来のダイナミクス学習手法は単一工具による短いホライズンのタスクを扱うものであり、弾塑性物体のシミュレータには顕著な sim-to-real ギャップがある。

提案手法

4 台の RGB-D カメラから統合した点群を得て、生地を水密なメッシュとして再構成し、300 個の表面パーティクルに再サンプリングして工具メッシュ上のパーティクルと連結する。工具ごとに約 20 分のランダム探索データで学習した GNN が生地の変形を予測し、PointNet++ 分類器が次のサブゴールに対して最も可能性の高い工具を 3 つ提案する。GNN で生成した合成データで学習した PointNet++ 方策が、つかむ、押す、伸ばす動作の行動パラメータを出力し、その他の工具は手作業で記述したプランナを使う。各動作の後に視覚フィードバックでループを閉じる。

主な知見

  • GNN に 2 ステップ先だけを予測するよう学習させれば、推論時に 15 ステップ先まで正確に予測するのに十分だった。
  • GNN による合成ロールアウトでオフライン学習した方策は行動空間全体をカバーし、同じ GNN と工具分類器を用いるオンラインプランナ（勾配降下法、CEM、RL）を上回った。
  • 工具ごとの行動空間は、6-DoF のエンドエフェクタ空間から冗長な自由度を取り除いた 2〜4 個のパラメータからなり、計画を扱いやすく保つ。
  • 小麦粉、水、塩の生地だけで学習したダイナミクスモデルが、再学習なしで Play-Doh、自然乾燥粘土、模型用フォームで文字 K を成形した。
  • PointNet ベースの工具分類器は ResNet ベースのものより汎化性能が高く、著者らはこれを深度を符号化できる能力によるものとしている。

主な結果

  • 文字の成形（R、O、B、C、K）：100 人の被験者が RoboCook の文字を認識した正答率は 0.90 ± 0.11 で、RoboCraft は 0.54、CEM+GNN は 0.52、CEM+MPM は 0.48、RL+GNN は 0.17 だった。
  • 点群の指標：Chamfer 距離 0.0062 ± 0.0007、Earth Mover's 距離 0.0042 ± 0.0006 で、5 手法の中で最も低い。
  • 計画時間は 9.3 ± 1.5 s で、RoboCraft は 613.7 s、CEM+GNN は 756.0 s、CEM+MPM は 1486.7 s、RL+GNN は 1867.9 s。餃子作りのパイプライン全体の計画時間は約 10 s。
  • 工具分類器は、学習データのテスト分割で 0.996 のインスタンス精度に達した。
  • 同じ工具を使った 5 人の被験者は、自分で工具を選ぶ場合は RoboCook より明らかに劣り、工具の順序とサブゴールを与えられた場合は同等かそれ以下だった。

制限事項

  • 著者らによる：生地がときどき工具にくっつくため、自動的な誤り訂正システムが必要になる。
  • 著者らによる：システムは各工具の行動空間について人間の事前知識に依存している。
  • 著者らによる：サブゴールは人間が定義している。これをなくすには、より上位の時間的抽象化とタスクレベルの計画が必要になる。
  • 著者らによる：ケーブルや布には追加のトポロジー推定が必要になる。
  • 学習したダイナミクスと方策が対象とするのはグリッパ、ローラー、プレス、型抜きだけである。ナイフ、カッター、プッシャー、へらは手作業で記述したプランナを使い、フックの動作はあらかじめコード化されている。

分野への影響

CoRL 2023 Best Systems Paper Award を受賞。被引用数は 137（示された数値どおり）。公式のプロジェクトページから RoboCook のコードリポジトリとデータフォルダにリンクされている。

概要

人間は柔軟な道具の使用によって、複雑で長いホライズンの柔軟物操作タスクに秀でている。パンを焼くには、生地を切るナイフと、それを平らにする麺棒が必要である。道具の使用はしばしば人間の認知の特徴とみなされるが、道具と物体の相互作用を理解することの難しさから、自律ロボットにおける道具の使用はいまだ限られている。本研究では、さまざまな道具を用いて弾塑性物体を知覚し、モデル化し、操作する知的ロボットシステム RoboCook を開発する。RoboCook は点群によるシーン表現を用い、Graph Neural Networks（GNN）で道具と物体の相互作用をモデル化し、道具の分類と自己教師ありの方策学習を組み合わせて操作計画を立てる。道具ごとにわずか 20 分の実世界のインタラクションデータから、汎用ロボットアームが餃子作りやアルファベットのクッキー作りのような複雑で長いホライズンの柔軟物操作タスクを学習できることを示す。広範な評価により、RoboCook が最先端の手法を大きく上回り、激しい外乱に対する頑健性を示し、異なる材料への適応性を備えることが示された。

リンク

  • arXiv 2306.14447: https://arxiv.org/abs/2306.14447
  • DOI 10.48550/arXiv.2306.14447: https://doi.org/10.48550/arXiv.2306.14447
  • PDF: https://proceedings.mlr.press/v229/shi23a/shi23a.pdf
  • コード: https://github.com/hshi74/robocook
  • プロジェクトページ: https://hshi74.github.io/robocook

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。