Reward Shaping
- カテゴリ: Learning & autonomy › RL & simulation
- タグ: reinforcement-learning, reward-design, sparse-rewards, robot-learning, simulation
強化学習の報酬に追加の項を加え、エージェントが初めてゴールに到達する前から有用なフィードバックを得られるようにすること。理想的には、どの行動が最適かは変えない。
定義
報酬シェーピング(reward shaping)は、強化学習問題の報酬関数を変更して学習を容易にする。多くのロボットタスクの自然な報酬は疎である。エージェントが信号を受け取るのは、引き出しが開いたときやペグが挿入されたときだけである。ランダムな探索では、ロボットはその状態にほとんど到達できず、学習信号をほとんど受け取れない。シェーピングは、グリッパーから取っ手までの距離の負値、安定した把持に対するボーナス、一連のサブゴールの進み具合といった中間項を加え、エージェントが初めて成功するよりずっと前からフィードバックを受け取れるようにする。
危険なのは、シェーピングした報酬がタスクを変えてしまうことである。グリッパーが近いことで報酬を得るロボットは、取っ手を引かずにその近くに浮かんでいることを学ぶかもしれず、前進速度に対する報酬はシミュレータの欠陥を突く歩容を生むことがある。Ng、Harada、Russell(1999)は、状態上で定義したポテンシャル関数 Φ に対して F(s, s′) = γΦ(s′) − Φ(s) という特定の形をもつシェーピング項が、元の問題の最適方策を変えないことを示した。これはポテンシャルベースの報酬シェーピングと呼ばれる。このような項のもとでは、状態のサイクルを一巡して得られる報酬の合計がゼロになるため、エージェントはタスクを進めないループから利益を得られない。この形でない項は最適方策を変えうる。滑らかな運動や低いエネルギー消費のような実際の選好を追加項が表す場合には、それが意図されていることもあるが、意図的な選択であるべきである。
ロボット工学の実務では、ロコモーションやマニピュレーションの報酬は多くの重み付き項を組み合わせることが多く、その重みの調整が工学的な作業の大きな部分を占める。補完や代替の手法には、カリキュラム学習、ゴールの事後的な再ラベル付け、デモンストレーションからの学習、逆強化学習、学習した視覚表現から計算する報酬(たとえばサブゴール画像への進み具合の推定)がある。これらは手作業での報酬設計を減らすが、それぞれ固有の失敗モードをもたらす。
重要な理由
ロボットの学習タスクがそもそも収束するかどうかは、報酬次第であることが多い。シミュレーションでのロコモーションやマニピュレーションの方策の多くは、シェーピングによって訓練可能になっている。そして、シェーピングの悪い報酬は、方策が訓練中は高得点なのに意図したタスクをこなさない、という事態のよくある原因である。
主な用途
- タスクの成功が疎な場合のマニピュレーション方策の訓練
- 速度追従、姿勢、エネルギーの項を組み合わせた脚式ロコモーションの報酬
- 進捗報酬付きのサブゴールに分割した長期タスク
- ゴールまでの距離の項を用いるナビゲーション
- シミュレーションで訓練する器用な手内操作
実際の使われ方
あるチームが、キャビネットの引き出しを開ける方策をシミュレーションで訓練する。引き出しが開いたときにだけ報酬を与えると、訓練はまったく進まない。そこで、グリッパーから取っ手までの距離の負値の項、取っ手を把持するたびのボーナス、引き出しの開いた量に比例する項を加える。方策はすぐに手を伸ばして把持することを覚えるが、そこで行き詰まる。取っ手を離してつかみ直すと把持ボーナスを何度でも得られるからである。チームはこのボーナスを、ポテンシャルベースの項、すなわち引き出しが開くほど、またグリッパーが取っ手に近づくほど高くなるポテンシャルのステップ間の変化量に置き換え、状態の間を行き来しても全体では何も得られないようにする。さらに、より滑らかな運動のために関節速度に小さなペナルティを加える。最終的な方策は、シェーピングした収益ではなく、疎な成功基準で評価する。
よくある誤解
- ゴールの方を向いていれば、追加する報酬項はどれも無害だ — ポテンシャルベースでない項は最適方策を変えることがあり、報酬ハッキングを招く
- シェーピングした収益が高いほど方策は良い — 方策が意図したことをしているかは、本来のタスク目的での性能によってのみ分かる
- ポテンシャルベースのシェーピングは常に学習を速める — 最適方策は保たれるが、選び方の悪いポテンシャルは探索を遅くしうる
- 報酬シェーピングとカリキュラム学習は同じものだ — シェーピングは報酬を変え、カリキュラムはタスクや環境の順序や難しさを変える
知っておくべき人
- ロボットの方策を訓練する強化学習エンジニア
- シミュレーションで研究するロコモーションとマニピュレーションの研究者
- 訓練環境を構築するシミュレーションエンジニア
- ロボット工学のための強化学習を学ぶ学生
関連技術
- ポテンシャルベースの報酬シェーピング(Potential-Based Reward Shaping)
- 疎な報酬(Sparse Rewards)
- Hindsight Experience Replay
- カリキュラム学習(Curriculum Learning)
- 逆強化学習(Inverse Reinforcement Learning)
- 学習した報酬モデル(Learned Reward Models)
関連用語
- Reinforcement Learning
- Markov Decision Process (MDP)
- Curriculum Learning
- Hindsight Experience Replay (HER)
- Inverse Reinforcement Learning
関連プロジェクト
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
動画
- Reward Shaping: Udacity