Goal-Conditioned Policy
- 別名: goal-conditioned RL, goal-conditioned reinforcement learning, GCRL, goal-conditioned imitation learning
- カテゴリ: Learning & autonomy › RL & simulation
- タグ: reinforcement-learning, imitation-learning, robot-learning, navigation, multi-task-learning
観測に加えてゴールを追加の入力として受け取る制御ポリシー。単一のタスク用に訓練するのではなく、1 つの学習済みモデルで多くの異なる目標に到達できる。
定義
ゴール条件付きポリシー(Goal-conditioned policies)は、現在の観測と指定されたゴールの両方に基づいて行動を選び、π(a | s, g) と書かれる。標準的なポリシーは 1 つのことを学ぶが、ゴール条件付きポリシーはゴールで添字付けられた振る舞いの族を学ぶ。同じネットワークで、ロボットを多くの場所へ移動させたり、物体を多くの姿勢に置いたり、与えられたどんな目標画像にも到達させたりできる。
ゴールにはさまざまな形がある。目標の位置や姿勢、望ましい関節コンフィギュレーション、シーンがどう見えるべきかを示す画像、あるいは言語による指示である。ナビゲーションでは画像ゴールが一般的で、ロボットはある場所の写真を見せられ、そこへ到達しなければならない。マニピュレーションでは、ゴールは多くの場合、目標とする物体の姿勢か、望ましい配置の画像である。
強化学習では、ゴール条件付けは、各状態から各ゴールへロボットがどれだけうまく到達できるかを推定する汎用価値関数近似器のような、ゴール条件付き価値関数によって定式化される。実際的な難点は、特定のゴールに到達したことに対する報酬がまれにしか得られないことである。Hindsight Experience Replay(ハインドサイト経験再生)は、失敗した試行を、実際に到達したゴールに対する成功としてラベルを付け直すことでこれに対処し、すべての軌道を有用な訓練データに変える。
ゴール条件付けは、大規模データセットからの模倣学習でも中心的な役割を果たす。デモンストレーションや記録された自由な操作(play)のデータには、同じ軌道の後の時点から取ったゴールでラベルを付け直すことができ、1 つのデータセットで多くの結果への到達方法をポリシーに教えられる。ゴール条件付きポリシーは、中間ゴールの列を与えるプランナーや地図と組み合わせられることが多く、これにより短いホライズンのポリシーで長いホライズンのタスクを達成できる。
重要な理由
ゴール条件付きポリシーは 1 つのモデルで多くのタスクをこなせるため、高価なロボットデータをより有効に使え、プランナーに再利用可能な低レベルのスキルを提供する。高レベルのタスク指定と学習ベースの制御との間の一般的なインターフェースになっている。
主な用途
- 画像ゴールや位置ゴールによるナビゲーション
- 目標とする物体の姿勢や配置が変わるマルチタスクのマニピュレーション
- ハインドサイトによるラベル付け直しで訓練するリーチングやプッシングのタスク
- 階層的なシステムでプランナーから呼び出される低レベルのスキル
実際の使われ方
ナビゲーションのチームは、現在のカメラ画像と目標地点の画像を入力として受け取り、速度指令を出力するポリシーを訓練することがある。訓練データは記録されたロボットの走行から得られ、同じ走行の後のフレームが前のフレームのゴールとして使われる。運用時には、トポロジカルマップやプランナーがサブゴール画像の列を与え、ポリシーはそれぞれに向かって順に走行する。チームは、訓練で見たゴールだけでなく、取り分けておいたゴールでも成功率を測る。
よくある誤解
- ゴール条件付きポリシーはどんなゴールにも到達できる — 汎化できるのは、訓練で表現されたゴールに似たゴールの範囲だけである
- ゴール条件付けは強化学習にしか当てはまらない — 模倣学習でも同じくらい一般的で、そこではデモンストレーションのデータからゴールのラベルを付け直す
- ゴール条件付きポリシーは計画の代わりになる — 長いタスクでは通常、近くのサブゴールを与えるプランナーや地図が必要である
知っておくべき人
- 強化学習や模倣学習に取り組むロボット学習の研究者
- 学習ベースの制御器を使うナビゲーションエンジニア
- 階層的な計画・制御システムを構築するエンジニア
関連技術
- 強化学習(Reinforcement Learning)
- Hindsight Experience Replay
- 汎用価値関数近似器(Universal Value Function Approximators)
- 模倣学習(Imitation Learning)
- 拡散ポリシー(Diffusion Policy)
- トポロジカルマップ(Topological Map)
関連用語
関連プロジェクト
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim