Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

APriCoT: Action Primitives based on Contact-state Transition for In-Hand Tool Manipulation

著者: Daichi Saito, Atsushi Kanehira, Kazuhiro Sasabuchi, Naoki Wake, Jun Takamatsu, Hideki Koike, Katsushi Ikeuchi · Humanoids 2024

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

APriCoT は手の中での持ち替えを、離脱、交差、接触から構成される 4 つの短い RL プリミティブに分割し、シミュレーション上の Shadow Hand Lite が物体を半回転させて目標の把持に到達できるようにする。

重要な理由

学習ベースのインハンドマニピュレーションの多くは回転だけに報酬を与え、最終的な把持を確認しないが、道具をその後使えるかどうかは最終的な把持で決まる。論文は、接触状態による分解によって、公開済みの 2 つのベースラインが失敗したこのタスクが学習可能になることを示している。報酬はプリミティブ間で共有されるため、新しい報酬設計なしに新たな遷移を追加できる。

課題

手の中での道具操作では、道具を手の中で動かすことと、次のタスクに適した把持で終えること（例えば、注ぐために開口部がふさがらないように箱を持つこと）の両方が必要である。これを RL で学習するのは難しい。目標の把持には多くの接触状態の変化を経て初めて到達するため報酬が疎になり、さらに必要な指の動きが接触状態によって大きく異なるため、広範でサンプル効率の悪い探索を強いられるからである。

提案手法

APriCoT は 3 つの行動表現（離脱、交差、接触）から接触状態遷移グラフを構築し、把持が把握的（prehensile）把持であること、少なくとも 3 本の指が接触していること、指が親指・人差し指・中指・薬指の順序を保つことを満たす状態のみを許す。目標タスクである、細長い物体を半回転させて精密把持に戻す操作は、それぞれ 1 本の指を物体の反対側へ移す 4 つのプリミティブに分割され、プリミティブごとに 1 つのポリシー、共有された 1 つのステップごとの報酬を持ち、各ポリシーは前のポリシーの出力状態から開始する。ポリシーは Isaac Gym で PPO を用いて教師・生徒の構成で学習され、生徒は指令関節角と計測関節角から物体形状を推定する。

主な知見

  • 持ち替えを接触状態遷移として記述することで、長期で報酬の疎な 1 つのタスクが、指が似通った動作を行う短いプリミティブに変わる。
  • すべてのプリミティブを、すべての指が物体に触れている最も安定した状態で開始・終了させることで、シミュレーションでの初期状態のサンプリングとポリシー間の連結が容易になる。
  • 各ステップを個別に学習するのではなく、離脱・交差・接触の一連の系列全体で各プリミティブを学習することで、交差の前に指を持ち上げすぎるといった無駄な動きを避けられる。
  • 指令関節角と計測関節角の差により、生徒ポリシーは物体形状を符号化できる。その潜在変数の t-SNE は形状ごとにクラスタを形成する。

主な結果

  • 両方のベースラインがタスクに失敗した。改良した手の中での回転手法（Baseline A）は物体を回転させたが目的の把持に到達せず、つまめる物体向けの手法（Baseline B）は交差中に物体を転がして落とした。
  • APriCoT は半回転を完了し、目的の精密把持に到達した。序論では、さまざまな形状の物体に対して 90% の成功率と報告している。
  • 頑健性試験（形状ごとに 1,000 個の初期状態をサンプリング、深さ 0.02-0.035 m、ε2 は ≃0 から 1）では、Section IV-B がほぼすべての形状で 90% を超える成功率を報告しており、学習に使っていない形状でも同程度であった。
  • Section IV-B ではまた、厚い楕円形の物体（深さが大きく ε2 が高い）では成功率が約 75% と報告されており、著者らは曲率によって物体が横に滑るためとしている。
  • 学習は NVIDIA RTX 3090 GPU 上の Isaac Gym で 32,768 個の並列環境を用い、シミュレーション 120 Hz、制御 20 Hz で実行された。

制限事項

  • すべての実験はシミュレーションで行われている。著者らはドメインランダム化と教師・生徒学習が sim-to-real 転移に役立つと見込んでいるが、ハードウェアでは試験していない。
  • ロール回転のような物体姿勢は関節角だけでは検出できず、それを見逃すと物体が不安定になって落ちることがある。著者らは視覚情報の追加を計画している。
  • 接触状態遷移だけに注目しても、操作後に物体が目的の向きになることは保証されない。
  • 接触状態遷移グラフは手作業で設計されており、著者らは多くの操作にわたって労力がかかると述べている。
  • 実証されているのは 1 つの操作（半回転して精密把持に戻る、4 つのプリミティブ）のみである。

分野への影響

Humanoids 2024 Best Oral Presentation Award を受賞し、被引用数は 2 である。論文には報酬のハイパーパラメータ、ランダム化の範囲、ネットワークのサイズが記載されている。コードやモデルの公開については述べられていない。

概要

手の中での道具操作とは、道具を手の中で操作する（すなわちインハンドマニピュレーション）だけでなく、操作後にタスクに適した把持を実現する操作である。本研究は、深層強化学習によって手の中での道具操作スキルを実現することを目的とする。このスキルの学習が難しいのは、この操作が (A) 目的の把持を実現するために長期的な接触状態の変化を探索すること、そして (B) 接触状態の遷移に応じて大きく異なる動作を必要とするためである。(A) は把持成功に対する報酬の疎性につながり、(B) は大きく異なる行動を学習するために RL エージェントが状態行動空間を広く探索することを必要とし、サンプル効率の悪さにつながる。これらの問題に対処するため、本研究は接触状態遷移に基づく行動プリミティブ（Action Primitives based on Contact-state Transition、APriCoT）を提案する。APriCoT は、3 つの行動表現（離脱、交差、接触）に基づいて操作を接触状態遷移として記述することで、操作を短期的な行動プリミティブに分解する。各行動プリミティブでは、指は短期的で似通った動作を行えばよい。プリミティブごとにポリシーを学習することで、(A) と (B) に起因する問題を緩和できる。本研究は、手の中での道具操作の例として基本的な操作に注目する。精密把持で把持した細長い物体を半回転させ、初期の把持に戻す操作である。実験結果から、既存研究とは異なり、本手法が回転と目的の把持の実現の両方に成功したことが示された。さらに、ポリシーが物体形状の変化に対して頑健であることも分かった。

リンク

  • arXiv 2407.11436: https://arxiv.org/abs/2407.11436
  • DOI 10.1109/Humanoids58906.2024.10769968: https://doi.org/10.1109/Humanoids58906.2024.10769968
  • PDF: https://arxiv.org/pdf/2407.11436v1

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。