Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Parameterized Action MDP

  • 別名: PAMDP, parameterized action space MDP
  • カテゴリ: Learning & autonomy › RL & simulation
  • タグ: reinforcement-learning, action-spaces, skills, primitives, hybrid-actions

どのスキルを使うかといった離散的な選択と、どこでどのように実行するかといったその選択の連続パラメータを組にした行動をもつマルコフ決定過程。

定義

パラメータ化行動マルコフ決定過程(parameterized action Markov decision process、PAMDP)は、行動空間が離散的な選択と連続的な選択の混成になっている MDP である。有限個の離散行動の集合があり、各離散行動 a はそれぞれ独自の連続パラメータ空間 X_a をもつ。各決定ステップで、エージェントは 1 つの離散行動とそのパラメータベクトルを選ぶので、行動は x が X_a に属する組 (a, x) となる。離散行動ごとに、パラメータの次元も意味も異なってよい。Masson、Ranchod、Konidaris は 2016 年にこの設定を定式化し、どの離散行動を選ぶかの学習と、各行動のパラメータ方策の学習を交互に行う Q-PAMDP を提案した。

この構造は、スキルまたはプリミティブ(skills or primitives)を中心に構築されたロボットにとって自然なものである。マニピュレーションのエージェントは、リーチ、把持、押し、配置の中から選び、それぞれに目標位置、押す方向、把持の向きといった連続的な引数をもたせ、適したプリミティブがない場合には原子的な低レベル行動にフォールバックする。サッカーのエージェントは、キック、ダッシュ、ターンの中から選び、それぞれに強さや方向のパラメータをもつ。これは Hausknecht と Stone が 2016 年に、パラメータ化行動を用いた深層強化学習に使った RoboCup の設定である。1 つのプリミティブが多くの制御周期にわたって実行されることがあるため、決定の間の時間は可変であり、これによって PAMDP はセミマルコフ決定過程(semi-MDP)やオプションフレームワークと結びつく。ただし PAMDP では、プリミティブは通常、学習されたオプションではなく、固定された手設計の制御装置である。

PAMDP での学習には、この混成構造を尊重する手法が必要である。一般的な深層 RL の手法では、Xiong らの P-DQN とその変種のように、各離散行動について価値または確率と、その行動のパラメータをあわせて出力するネットワークを使うか、プリミティブの種類についてのカテゴリカル分布と、各種類のパラメータについてのガウス分布を出力する方策を使う。パラメータを単純に離散化すると精度が失われ、行動空間が急速に大きくなる。一方、すべてを 1 つの大きな連続ベクトルとして扱うと、選ばれた行動のパラメータだけが重要であるという情報が捨てられてしまう。

重要な理由

関節やエンドエフェクタへの低レベルの指令を使う強化学習は、探索の問題が膨大になるため、長いホライズンのマニピュレーションに苦戦する。方策がパラメータ化されたスキルを呼び出せるようにすると、実質的なホライズンが短くなり、プリミティブに組み込まれた工学的知識が再利用され、検証しやすい振る舞いが得られる。PAMDP はそれを行うための形式的な枠組みである。

主な用途

  • マニピュレーションスキルのライブラリ上での強化学習
  • ロボットサッカーなど混成行動空間をもつゲーム
  • ナビゲーションとマニピュレーションのプリミティブを組み合わせた長いホライズンのタスク
  • タスクプランニングのための動作プリミティブの引数の学習
  • 離散的な運転操作と連続的な目標をもつ自動運転の意思決定

実際の使われ方

あるチームが、シミュレーション環境を使って、ロボットアームにキャビネットを開けて物体を中に入れるよう学習させる。方策は 20 Hz でエンドエフェクタの速度を出力する代わりに、各ステップで 5 つのプリミティブ、すなわちリーチ、把持、押し、解放、原子的な低レベル行動のいずれかを選ぶ。リーチは 3D の目標を、把持は目標位置とヨー角を、押しは開始位置、方向、距離を引数にとる。方策ネットワークはプリミティブの種類についてのカテゴリカル分布と、種類ごとのパラメータについてのガウス分布を出力し、勾配に影響するのは選ばれた種類のパラメータだけである。各プリミティブは、終了するかタイムアウトするまでスクリプト化された制御装置を実行し、その後に次の決定が行われる。1 エピソードに必要な決定はわずかなので、低レベルの方策ではうまくいかなかったところで学習が成功する。

よくある誤解

  • PAMDP は階層型強化学習と同じである — PAMDP のプリミティブは固定された制御装置であることが多く、学習されるのはプリミティブの選択とそのパラメータだけである
  • パラメータは単純に離散化すればよい — 離散化は精度を失わせ、行動の数を何倍にも増やす。プリミティブが複数のパラメータをもつ場合は特にそうである
  • 混成行動は 1 つの大きな連続ベクトルとして扱える — それでは選ばれた行動のパラメータだけが重要であることが無視され、学習が不安定になることがある
  • プリミティブを使えば常にタスクが簡単になる — 設計の悪いプリミティブ集合ではタスクを完了できなくなることがあり、そのため多くのシステムは低レベル行動をフォールバックとして残している

知っておくべき人

  • スキルやプリミティブを扱うロボット学習の研究者
  • 行動空間を設計する強化学習エンジニア
  • タスク・アンド・モーション・プランニングの研究者
  • ゲーム AI・マルチエージェント AI の開発者

関連技術

  • Q-PAMDP
  • P-DQN
  • オプションフレームワーク(Options Framework)
  • セミマルコフ決定過程(Semi-Markov Decision Process)
  • robosuite

関連用語

  • Markov Decision Process (MDP)
  • Motion Primitive
  • Reinforcement Learning
  • Task and Motion Planning
  • Dynamic Movement Primitive

関連プロジェクト

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。