Hindsight Experience Replay (HER)
- 別名: HER
- カテゴリ: Learning & autonomy › RL & simulation
- タグ: reinforcement-learning, sparse-rewards, goal-conditioned, off-policy, manipulation
失敗したエピソードにエージェントが実際に到達した目標のラベルを付け直し、疎な報酬のもとでの失敗を有用な訓練データに変える、ゴール条件付き強化学習の手法。
定義
ハインドサイト経験リプレイ(Hindsight experience replay、HER)は、ロボット学習でよくある問題に対処する。目標に到達したときにだけ与えられる疎な報酬では、ランダムに行動するロボットはほとんど成功せず、学習信号がまったく得られない。2017 年に Andrychowicz らが導入した HER は、失敗した各エピソードについて、後から目標がエージェントの実際に達成したものだったことにして再利用する。ブロックを点 A に押そうとして点 B に置いてしまったエピソードは、ブロックを点 B に押す成功例になる。
この手法は、状態と望ましい目標の両方を入力とするゴール条件付きのポリシーと価値関数、そしてリプレイバッファから学習する DDPG、TD3、SAC などのオフポリシーアルゴリズムと組み合わせて使う。保存された各遷移は、目標を差し替え、その目標に対して報酬を再計算したうえで複製される。差し替える目標の選び方にはいくつかの戦略がある。エピソードの最終状態、同じエピソード内のランダムな状態、そして最も一般的な、同じエピソードの後の時点で到達した状態("future" 戦略)である。任意の目標に対して報酬を再計算しなければならないため、HER には任意の目標について評価できる報酬関数が必要であり、通常は達成した目標が望ましい目標の許容範囲内にあるかどうかで判定する。
HER は暗黙的なカリキュラムとして働く。初期には、ラベルを付け替えた目標はロボットがすでに行き着く場所の近くにある簡単なものだが、ポリシーが改善するにつれ、到達できる目標が広がって空間全体を覆うようになる。目標を達成状態から読み取れない場合、報酬が最終結果以外にも依存する場合、古いデータを再利用できないオンポリシーアルゴリズムの場合には役に立たない。ラベルの付け替えはバッファ内の目標の分布にも偏りをもたらし、後続の研究がこれを検討し、さまざまな方法で補正している。
重要な理由
多くのマニピュレーションタスクにとって、疎な成功報酬は最も自然な指定方法だが、そこから直接学習するのは非常に難しい。HER によって、手作業で整形した報酬項なしに二値報酬から押し、滑らせ、ピックアンドプレースのポリシーを訓練することが現実的になり、それ以来、目標のラベル付け替えはゴール条件付き学習の標準的な道具になっている。
主な用途
- ロボットアームによる疎な報酬での押し、滑らせ、ピックアンドプレース
- 任意の目標位置に到達するゴール条件付きポリシーの訓練
- 成功のみの報酬からの目標地点へのナビゲーション学習
- デモンストレーションやプレイデータへの、実際に到達した目標によるラベル付け替え
- オフポリシー強化学習のマルチゴールベンチマーク
実際の使われ方
あるエンジニアが、シミュレーション上のアームでブロックをランダムに選んだ目標位置に置く訓練を行う。報酬は成功時に 0、それ以外は -1 である。HER がなければ、ブロックが偶然目標に置かれることはめったにないため、SAC はほとんど改善しない。HER を使うと、各遷移は、そのエピソードの後の時点で到達したブロック位置から抽出した目標とともにも保存され、ブロックが差し替えた目標から数センチ以内にあれば成功として報酬が再計算される。エンジニアは、ラベル付け替えのコードが一方を他方と入れ替えられるよう、観測が達成した目標(ブロックの位置)と望ましい目標をはっきり分けていることを確認する。
よくある誤解
- HER はどんな強化学習アルゴリズムでも使える — 保存した遷移の再利用に依存しているため、DDPG、TD3、SAC のようなオフポリシー手法には合うが、PPO のようなオンポリシー手法には合わない
- HER があれば報酬設計はまったく不要になる — 任意の目標について計算できる報酬と、状態のどの部分を達成した目標とみなすかの明確な定義が依然として必要である
- ラベルを付け替えたデータには偏りがない — 達成した目標で差し替えると、バッファ内の目標と結果の分布が変わり、価値の推定に偏りが生じることがある
知っておくべき人
- マニピュレーションに取り組む強化学習の実務者
- 疎な報酬や二値報酬を使うロボット学習の研究者
- ゴール条件付きポリシーを構築するエンジニア
- オフポリシー学習アルゴリズムを実装する学生
関連技術
- Deep Deterministic Policy Gradient(DDPG)
- Twin Delayed DDPG(TD3)
- リプレイバッファ(Replay Buffer)
- Universal Value Function Approximators
- Gymnasium-Robotics
関連用語
- Goal-Conditioned Policy
- Reinforcement Learning
- Soft Actor-Critic
- Markov Decision Process (MDP)
- Curriculum Learning
- Play Data
関連プロジェクト
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
動画
- Hindsight Experience Replay | Two Minute Papers #192: Two Minute Papers