Predicting Object Interactions with Behavior Primitives: An Application in Stowing Tasks

著者: Haonan Chen, Yilong Niu, Kaiwen Hong, Shuijing Liu, Yixuan Wang, Yunzhu Li, Katherine Driggs-Campbell · CoRL 2023

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

パーティクルベースの GNN が行動プリミティブのキー姿勢で物体の動きを予測する。1 回のデモから得た 3-4 個のキーフレームと照らし合わせてプリミティブのパラメータを探索することで、アームが散らかった棚に物体を収納できる。

重要な理由

ネットワークは各プリミティブのキー姿勢でのみ問い合わせられ、著者らによれば、これにより順伝播の回数と長いホライズンでの予測誤差の累積が減る。シミュレーションの箱形の物体だけで学習したシステムが、実機の Kinova Gen3 アームにゼロショットで転移し、ボトル、粘着式のクリーナー（コロコロ）、重い物や台形の物といった分布外の物体も扱えた。

課題

散らかった棚に物体を収納するには、まず棚に既にある物体を押したり滑らせたりして空間を作る必要があり、これにはモデル化の難しい複数物体の接触と摩擦が長いホライズンにわたって関わる。事前にプログラムされたシステムは新しい棚の配置に適応できず、カテゴリレベルの操作手法には高コストなデータ収集と人手によるラベル付けが必要であり、モデルフリーの強化学習では実機上で長いホライズンのタスクをゼロから学習するのに学習時間がかかりすぎる。

提案手法

各物体は一様に分布したパーティクルとしてモデル化され、シミュレーションで学習したグラフニューラルネットワークが、行動プリミティブ（掃き寄せ、押し、運搬）の後の各物体の剛体変換を予測する。グラフには、グリッパから物体へのエッジ、静的な棚とテーブルのパーティクルへのエッジが含まれ、予測したグリッパ位置に対する補助損失も加える。実行時には、ランダムシューティングで各プリミティブのパラメータをサンプリングし、ネットワークが結果を予測し、予測された物体の位置がデモのキーフレームに最も近いパラメータを Operational Space Controller（操作空間制御器）で実行する。

主な知見

• ロボットの行動を計画された動きをもつグリッパのパーティクルとして表し、動的な物体と静的な棚・テーブルのパーティクルとの間にエッジを加えることで、より難しい掃き寄せと運搬のプリミティブにおいて、RoboCraft 方式の GNN よりも予測が改善する。
• 制御ステップごとではなくプリミティブのキー姿勢でのみ物体の状態を予測することで、長いホライズンのタスクにおける順伝播の回数と累積誤差が減る。
• シミュレーションでの同じ長いホライズンの収納タスクにおいて、学習したダイナミクスモデルと探索の組み合わせは、モデルフリーの RL（SAC、PPO）や、プリミティブでパラメータ化した行動空間をもつ PPO を上回った。
• プリミティブのパラメータの最適化器としては、ランダムシューティング、交差エントロピー法、勾配降下法の性能はほぼ同等だった。
• 2 スキルのセット（押しと運搬）は実世界で 3 スキルのセットと同じ 95% の成功率に達した。著者らはこれを、保持している物体と棚の上の物体との相互作用をモデルが捉えているためだとしている。

主な結果

• 実世界、6 つの設定で各 10 試行：成功率は 3 スキルで 95%、2 スキルで 95%。ダイナミクス予測を行わない手作業調整のヒューリスティックでは 18%。
• 同じパイプラインで学習したダイナミクスとして RoboCraft を用いた場合：表 3 では平均 48% と報告されているが、同じ表にある 6 つの設定ごとのスコア（10 回中 4、7、4、6、7、5 回）を合計すると 33/60、すなわち 55% になる。
• シミュレーションでの制御誤差（MSE）：本手法は 0.905 mm で、パラメータ化した PPO は 22.925 mm、ヒューリスティックは 34.861 mm、PPO は 87.479 mm、SAC は 265.411 mm。
• 運搬プリミティブの予測誤差：MSE 0.666 mm、EMD 31.232 mm、Chamfer 距離 38.068 mm で、RoboCraft は 1.091、42.162、55.615 mm。より単純な押しプリミティブでは RoboCraft のほうが MSE が低い（0.216 対 0.292 mm）が、差は標準偏差 1 つ分以内である。
• 変形物体（付録）：3 スキルで 6/10、2 スキルで 4/10。RoboCraft は 2/10、ヒューリスティックは 0/10。
• 学習データ：プリミティブごとにランダムなパラメータのエピソードを 300 個。押しと掃き寄せの予測精度は約 50 サンプルで、運搬は約 140 サンプルで頭打ちになる。

制限事項

• デモから順序付きのキーフレームを人手でラベル付けすることに依存しており、著者らはこれがより大規模で複雑なシナリオへのスケーラビリティを制限しうるとしている。
• 学習時も推論時も物体は箱形の点群として表現されており、著者らは、相互作用や接触がより複雑な実物体の形状を反映できない可能性があるとしている。
• 実世界の知覚ではすべての物体を直方体として扱い、既知物体のデータベース用に事前に撮影した側面と上面の画像との SIFT マッチングで物体を識別する。
• 変形物体では成功率が下がる（最良で 6/10）。
• プリミティブのライブラリ（掃き寄せ、押し、運搬）は手作業で設計されている。著者らはプリミティブの設計とスキルの組み合わせを未解決の研究課題として挙げている。

分野への影響

CoRL 2023 Best Paper / Best Student Paper Award のファイナリストとなり、被引用数は 32 である。論文は robosuite と MuJoCo で構築した、長いホライズンの操作のための収納ベンチマークを提供しているが、コードやデータのリンクは示されていない。

概要

散らかった棚やビンに物体を置く作業である収納（stowing）は、倉庫や製造の現場でよくあるタスクである。しかし、複数物体の複雑な相互作用とタスクの長いホライズンという性質のために収納の自動化は難しく、このタスクはいまだ主に人間の作業者によって行われている。従来の研究では通常、大規模なデータ収集と、多様な物体カテゴリにわたる意味的な事前知識の高コストな人手によるラベル付けを必要とする。本論文では、物体の相互作用の予測モデルと、行動プリミティブを伴う 1 回のデモから、汎化可能なロボットの収納方策を学習する手法を提示する。グラフニューラルネットワークを用いて、行動プリミティブのパラメータ空間内で物体の相互作用を予測する新しいフレームワークを提案する。さらに、プリミティブで拡張した軌道最適化を用いて、あらかじめ定義された異種の行動プリミティブのライブラリのパラメータを探索し、制御行動を具体化する。本フレームワークにより、ロボットは 1 回のデモから得た少数のキーフレーム（3-4 個）で、長いホライズンの収納タスクを巧みに実行できる。シミュレーションのみで学習しているにもかかわらず、本フレームワークは優れた汎化能力を示す。さまざまな棚の幅、変動する物体の数、大きさや形状などの属性が多様な物体を含む、幅広い実世界の条件に効率よく適応する。

リンク

• arXiv 2309.16873: https://arxiv.org/abs/2309.16873
• DOI 10.48550/arXiv.2309.16873: https://doi.org/10.48550/arXiv.2309.16873
• PDF: https://arxiv.org/pdf/2309.16873v1