Meta-Reinforcement Learning
- 別名: meta-RL
- カテゴリ: Learning & autonomy › RL & simulation
- タグ: reinforcement-learning, meta-learning, adaptation, generalization, robot-learning
多数の関連タスクで訓練することで、エージェントが適応の仕方を学び、同じ系統の新しいタスクをわずかな経験で解けるようにする強化学習。
定義
メタ強化学習(Meta-reinforcement learning、meta-RL)は、学習そのものを学習の対象として扱う。1 つのタスク用にポリシーを訓練するのではなく、エージェントを関連するタスクの分布全体で訓練する。たとえば、異なる目標への到達、質量の異なる物体の押し出し、異なるドアの開閉などである。狙いは、同じ分布から抽出された新しいタスクが与えられたとき、ゼロから学習するのではなく、少量の新しい経験(多くの場合数エピソード)で適応できるようにすることである。訓練は、1 つのタスクに適応する内側ループと、タスク間で適応手順そのものを改善する外側ループに分けられる。
一般的な手法は 3 系統ある。勾配ベースの手法、たとえば model-agnostic meta-learning(MAML、Finn、Abbeel、Levine、2017)は、新しいタスクで数回の勾配ステップを踏むだけで良いポリシーが得られるような初期ネットワーク重みを学習する。再帰型またはコンテキストベースの手法、たとえば RL²(Duan ら、2016)は、状態・行動・報酬の履歴を再帰型ネットワークなどの系列モデルに入力し、その隠れ状態が現在のタスクについて学んだことを保持するため、勾配更新なしで適応が起こる。潜在タスク推論の手法、たとえば PEARL(Rakelly ら、2019)は、経験から確率的なタスク変数を推論するエンコーダを学習し、ポリシーをその変数で条件付ける。これによりオフポリシー訓練も可能になる。
Meta-RL は部分観測下の意思決定と密接に関係している。未知のタスクは状態の隠れた一部とみなすことができ、エージェントは行動を通じてそれを推論しなければならない。マルチタスク強化学習とは異なる。マルチタスク強化学習は、既知の固定されたタスク集合をうまくこなす単一のポリシーを、通常はタスクの識別情報を与えたうえで訓練するもので、未見のタスクへの適応は評価しない。Meta-World などのベンチマークは、同じマニピュレーションタスク群で両方の設定をテストする。結果は訓練タスク分布の広さに大きく左右される。meta-RL は訓練タスクのバリエーションにはよく適応する傾向があるが、構造的に異なるタスクへの適応は苦手である。
重要な理由
ロボットは絶えず変化に直面する。物体、積載物、地形、摩耗はそれぞれ異なる。Meta-RL は、学習したコントローラをゼロから再訓練するのではなく、そうした変化に素早く適応させるための主要なアプローチの 1 つであり、同じ考え方が sim-to-real のロコモーションで使われるオンライン適応モジュールの基盤にもなっている。
主な用途
- マニピュレーションスキルの新しい目標や物体への高速適応
- 積載物、地形、損傷の変化へのロコモーションコントローラの適応
- モデルベース制御における学習済みダイナミクスモデルのオンライン適応
- Meta-World などのタスク系統による汎化性能のベンチマーク評価
- 少量のロボットデータからの少数ショット模倣と適応
実際の使われ方
ある研究チームは、ロボットアームが数回の試行で新しいマニピュレーションスキルを習得できるようにしたいと考えている。シミュレーション上で、複数のタスクタイプにわたり物体の位置と目標をランダム化したタスク系統を構築し、直近の遷移から推論した潜在タスク変数で条件付けるコンテキストベースの meta-RL エージェントを訓練する。テスト時には、訓練に使わなかった目標に対して、ロボットが探索的なエピソードを数回収集し、エンコーダがタスクの推定を更新し、ポリシーは勾配更新を一切行わずに改善する。チームは、訓練タスクの未使用バリエーションでの成功率と、まったく新しいタスクタイプでの成功率を分けて報告する。後者の性能は通常はるかに低いからである。
よくある誤解
- Meta-RL は何でもこなせるポリシーを学習する — 適応できるのは訓練分布内のタスクであり、構造の異なるタスクへの汎化は通常うまくいかない
- Meta-RL とマルチタスク RL は同じものである — マルチタスク RL は既知のタスク集合での性能を最適化し、meta-RL は新しいタスクへの適応の速さを最適化する
- 適応とは常に重みのファインチューニングを意味する — コンテキストベースの手法は隠れ状態や潜在変数の更新だけで適応し、テスト時に勾配ステップを一切踏まない
知っておくべき人
- 汎化と適応に取り組むロボット学習の研究者
- タスク分布を設計する強化学習の実務者
- 適応的なロコモーションやマニピュレーションのコントローラを構築するエンジニア
- ロボティクス向け機械学習を学ぶ大学院生
関連技術
- Model-Agnostic Meta-Learning(MAML)
- RL²
- PEARL
- Meta-World
- 再帰型ニューラルネットワーク(Recurrent Neural Networks)
関連用語
- Multi-Task Reinforcement Learning
- Reinforcement Learning
- Partially Observable Markov Decision Process (POMDP)
- Lifelong Robot Learning
- Domain Randomization
- Teacher-Student Training
関連プロジェクト
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
動画
- Learning Exploration Strategies with Meta-Reinforcement Learning: Simons Institute for the Theory of Computing