Multi-Task Reinforcement Learning
- 別名: multi-task RL, MTRL
- カテゴリ: Learning & autonomy › RL & simulation
- タグ: reinforcement-learning, multi-task, transfer-learning, manipulation, robot-learning
タスク識別子やタスク記述で条件付けた 1 つのポリシーを、固定されたタスク集合で同時に高い性能を出すように訓練する強化学習。
定義
マルチタスク強化学習(Multi-task reinforcement learning)は、タスクごとに別々のエージェントを訓練するのではなく、単一のエージェントに複数のタスクを解かせるように訓練する。ポリシーは通常タスク条件付きであり、状態とともに one-hot のタスク識別子、目標、言語指示、あるいはその他のタスク記述を受け取り、目的関数はタスク集合全体にわたる期待収益の平均である。期待されているのは、アームの動かし方や取っ手のつかみ方のような構造をタスク同士が共有しており、あるタスクの経験が他のタスクの助けになって、共有ポリシーに必要なデータが各タスクを個別に扱う場合より少なくなることである。
実際には、共有が害になることもある。タスクが相反する振る舞いを必要とすることもあれば、報酬のスケールが大きく異なることもあり、あるタスクからの勾配更新が別のタスクでの進歩を打ち消してしまうこともある。この問題は負の転移、あるいは勾配干渉と呼ばれる。一般的な対策としては、収益の正規化やタスクごとに別々の価値ヘッドを使うこと、タスク同士が衝突しないよう勾配を調整すること、部分的に分離したネットワークモジュールにタスクを振り分けること、各タスクのサンプリング頻度のバランスを取ること、そして個別に訓練したエキスパートポリシーを 1 つの生徒ポリシーに蒸留することがある。ゴール条件付き学習は、タスクが目標だけで異なり、同じ報酬構造を共有する特殊なケースである。
マルチタスク RL はメタ強化学習とは異なる。マルチタスク RL は訓練したタスクで、通常はタスクの識別情報が既知の状態で評価される。meta-RL は、同じ分布から抽出された新しいタスクにどれだけ速く適応するかで評価される。Meta-World などのベンチマークは同じマニピュレーションタスク群で両方の設定を提供しており、その違いを具体的に示してくれる。マルチタスク訓練は、多数のタスクのデモンストレーションデータで訓練される大規模なロボットポリシーの構成要素でもあるが、そうしたポリシーは通常、強化学習ではなく模倣によって訓練される。
重要な理由
役に立つロボットには多くのスキルが必要であり、スキルごとに 1 つのポリシーを訓練して保守するやり方はスケールしない。マルチタスク RL は、多くの振る舞いをカバーする単一のコントローラに至る強化学習の道筋であり、そうしたシステムを設計するうえでは、共有がどこで役立ち、どこで干渉を引き起こすかを理解することが欠かせない。
主な用途
- 多数の卓上マニピュレーションスキルをこなす単一ポリシー
- 言語やゴールで条件付けたロボットコントローラ
- 複数のエキスパートポリシーの、デプロイ可能な 1 つのネットワークへの蒸留
- 歩容、速度、地形をまたいで共有されるロコモーションポリシー
- タスク間の転移と干渉のベンチマーク評価
実際の使われ方
あるチームは、卓上のアームで引き出しを開け、ボタンを押し、蛇口をひねることができる 1 つのポリシーを求めている。シミュレーション上で、観測に one-hot のタスクベクトルを付け加えたタスク条件付きの SAC エージェントを訓練する。初期の実行では、ポリシーが 2 つのタスクを習得して他を無視していることがわかる。その 2 つのタスクの報酬が大きく、更新を支配しているからである。チームはタスクごとに別々に学習する温度パラメータを加え、各バッチでタスクを均等にサンプリングし、平均だけでなくタスクごとの成功率を追跡する。これにより、強いタスクを遅らせることなく弱いタスクの性能が引き上げられる。
よくある誤解
- より多くのタスクで訓練すれば、どのタスクにも必ず役立つ — 相反するタスクは互いに干渉することがあり、マルチタスクポリシーが一部のタスクでシングルタスクの訓練より劣ることもある
- マルチタスク RL は新しいタスクに適応するエージェントを生み出す — 評価は訓練タスクで行われる。未見のタスクへの素早い適応は meta-RL の目標である
- タスク全体の平均収益を見ればポリシーの出来がわかる — 高い平均の陰に、ポリシーが学習できなかったタスクが隠れていることがあるため、タスクごとの成功率を報告すべきである
知っておくべき人
- 汎用ポリシーを構築するロボット学習の研究者
- タスクスイートで訓練を行う強化学習エンジニア
- タスク条件付けを設計するマニピュレーションエンジニア
- マルチタスク学習、メタ学習、生涯学習を比較する学生
関連技術
- Meta-World
- ポリシー蒸留(Policy Distillation)
- Gradient Surgery(PCGrad)
- Soft Actor-Critic
- タスク埋め込み(Task Embeddings)
関連用語
- Meta-Reinforcement Learning
- Goal-Conditioned Policy
- Reinforcement Learning
- Soft Actor-Critic
- Lifelong Robot Learning
- Curriculum Learning
関連プロジェクト
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim