Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks

著者: Soroush Nasiriany, Huihan Liu, Yuke Zhu · ICRA 2022

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

強化学習（RL）エージェントが、手作りのリーチング・把持・押し・リリースのプリミティブか生のモーター行動かを選び、そのパラメータを設定する。これにより長期的なマニピュレーションにおける探索の負担が減る。

重要な理由

ロボティクスには把持やリーチングのための信頼できるモジュールがすでにあり、本研究は汎用の強化学習（RL）アルゴリズムが、手書きのタスク計画なしにそれらの順序付けを学習できることを示している。方策はプリミティブを通じて行動するため、プリミティブを実機上で再実装すれば、同じ方策がシミュレーションから実ロボットへ転移した。

課題

ロボットは低レベルのモーター行動からなる非常に大きな空間を探索しなければならないため、深層強化学習は長期的なマニピュレーションを苦手とする。スキルをゼロから学習する階層型強化学習（RL）手法は多くのサンプルを必要とし、タスク・モーションプランニングやニューラルプログラミングは、既製のモジュールを組み合わせるのにドメイン知識や人による監督に依存する。

提案手法

MAPLE は制御をパラメータ化行動 MDP として定式化する。各ステップで高レベルのタスク方策がプリミティブ（リーチング、把持、押し、グリッパーのリリース、または単一のアトミック行動）を選び、プリミティブごとのパラメータ用サブネットワークが目標位置やヨー角などの入力を設定する。両者は修正版 Soft Actor-Critic で学習され、報酬に加えた解析的なアフォーダンススコアがプリミティブのパラメータを関連する物体へと導く。アトミック行動を残すことで、接触の多い挿入など、プリミティブでは表現できない段階をエージェントが扱えるようになる。

主な知見

  • まずプリミティブを選び、次にそのパラメータを選ぶ階層的方策は、種類とパラメータを独立にサンプリングするフラットな方策を上回った
  • Peg Insertion にはアトミックなプリミティブの保持が必要だった。それを除いた版は 0% にとどまり、MAPLE は 100% に達した
  • アフォーダンス報酬がない場合、あるいはリーチングまたは把持のプリミティブがない場合、エージェントは Pick and Place を解けなかった
  • 学習したプリミティブ系列に対する Levenshtein 距離に基づく構成性スコアは、接触の多いタスク（Peg Insertion 0.24、Wipe 0.67）のほうが把持型のタスク（Lift と Door は 1.0）より低い
  • 学習したタスクスケッチは類似タスクで再利用でき、その場合はプリミティブのパラメータだけを学習すればよい

主な結果

  • 8 つのシミュレーションタスクにおける平均最終成功率：MAPLE 90%、Atomic SAC 19%、Flat 36%、Open Loop 41%、DAC 11%、アトミック行動なしの MAPLE 79%
  • Atomic ベースラインに対する改善は、序論では 70% の向上、結果の節では成功率 71% 向上かつ報酬 2-3× と述べられている
  • 論文は、MAPLE を標準 robosuite ベンチマークのすべての単腕タスクを一貫して解いた唯一の手法としている
  • Pick and Place のソーダ缶のタスクスケッチをパンの変種に転移すると、ゼロから学習するより 5× 以上速く目標タスクを学習した
  • タスクごとに 30 試行での実世界の成功率：Stack 93%（シミュレーションでは 97%）、Cleanup 83%（シミュレーションでは 93%）
  • HIRO は進捗を示せず、結果から除外された

制限事項

  • 著者らは、アトミック行動は小さな隙間は埋められるが、多くの低レベル行動を要する大きな隙間は埋められず、探索と信用割り当てに関するさらなる研究が必要だと述べている
  • アフォーダンススコアは物体の状態から手作業で定義されている。著者らは学習によるアフォーダンスを今後の課題としている
  • Wipe は依然として難しく、MAPLE の成功率は 42% である
  • 実世界の試験では、姿勢推定の誤差を回避するため物体のピッチ、ヨー、テーブルの高さをハードコードし、遮蔽に対しては持ち上げて再推定するルーチンが必要だった
  • 実世界での失敗は主に、不適切な把持の繰り返しか、ロボットが関節の可動限界に達して安全停止が作動したことによるものだった

分野への影響

ICRA 2022 優秀学習論文賞を受賞し、被引用数は 155 である。著者らはプロジェクトページでコードと動画を公開している。

概要

現実的なマニピュレーションタスクでは、ロボットが長い一連のモーター行動によって環境とインタラクションする必要がある。深層強化学習手法は近年、マニピュレーション行動を自動化する有望なパラダイムとして台頭しているが、探索の負担のため長期的なタスクでは通常うまくいかない。本研究では、標準的な強化学習アルゴリズムを事前定義された行動プリミティブのライブラリで拡張する学習フレームワーク、MAnipulation Primitive-augmented reinforcement LEarning（MAPLE）を導入する。これらの行動プリミティブは、把持や押しといったマニピュレーション目標の達成に特化した頑健な機能モジュールである。これらの異種のプリミティブを利用するため、プリミティブを組み込み、入力パラメータによってその実行をインスタンス化する階層的方策を開発する。シミュレーションによる一連のマニピュレーションタスクで、MAPLE がベースライン手法を大きな差で上回ることを示す。また、学習した行動の構成的構造を定量化し、方策を新しいタスクの変種や物理的なハードウェアへ転移できるという本手法の能力を強調する。動画とコードは https://ut-austin-rpl.github.io/maple で公開されている。

リンク

  • arXiv 2110.03655: https://arxiv.org/abs/2110.03655
  • DOI 10.48550/arXiv.2110.03655: https://doi.org/10.48550/arXiv.2110.03655
  • PDF: https://arxiv.org/pdf/2110.03655v1
  • プロジェクトページ: https://ut-austin-rpl.github.io/maple

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。