Residual Reinforcement Learning

• 別名: residual RL, residual policy learning
• カテゴリ: Learning & autonomy › RL & simulation
• タグ: reinforcement-learning, robot-learning, manipulation, contact-rich-tasks, sim-to-real

既存のコントローラや学習済みポリシーの行動に加える補正を強化学習で学習し、学習をゼロからではなく妥当な振る舞いから始められるようにすること。

定義

残差強化学習（Residual reinforcement learning）は、ロボットの行動を、ベースポリシーの出力と学習された残差の 2 つに分ける。ベースポリシーは、手作業で設計したコントローラ、軌道追従器、あるいは模倣学習で学習したポリシーでよい。残差ポリシーは状態を、多くの場合はベースの行動とともに観測し、ベースの行動に加える補正を出力する。強化学習で学習されるのは残差だけで、ベースポリシーは固定されたままである。この手法は 2018 年と 2019 年に 2 つのグループによってそれぞれ独立に導入され、名称は residual policy learning と、ロボット制御のための残差強化学習であった。

うまく動くベースポリシーから始めることで、学習問題は有益な形で変わる。学習の初期、残差がゼロに近いときでもロボットはすでに妥当に振る舞うので、探索はより安全になり報酬にも到達しやすくなる。これは疎な報酬のタスクや実機での学習で重要である。残差が学習すべきなのは、コントローラがモデル化していない接触の効果、摩擦、物体のばらつきなど、ベースポリシーが誤る部分だけである。残差ネットワークをゼロを出力するように初期化し、その大きさを制限することが、初期の振る舞いをベースポリシーに近く保つ一般的な方法である。

ベースポリシーは学習できることの限界にもなる。ベースポリシーが良い振る舞いからかけ離れている場合、有界な残差では修正しきれないことがあり、非有界な残差では安全性の利点が失われる。変種には、生の行動の代わりにゲインや目標値といったコントローラのパラメータを残差が調整するものや、残差を少数のデモンストレーションから学習したポリシーと組み合わせ、模倣がベースの振る舞いを与え、強化学習が精度やロバスト性のためにそれを磨くものがある。

重要な理由

実機ロボットでの純粋な強化学習は遅く、安全でないこともある。一方、手作業で設計したコントローラや模倣ポリシーは、ほぼ正しいが接触の細部で失敗することが多い。残差 RL はこの 2 つを組み合わせ、限られた量の実世界でのインタラクションで既存のコントローラを改善する実用的な方法となる。

主な用途

• ペグインホール挿入のような接触の多い組立
• 模倣学習で得たポリシーの強化学習による改良
• モデルベースのコントローラにおける未モデル化の摩擦やダイナミクスの補正
• シミュレーションで学習したコントローラの実機への適応
• スクリプト化されたベースラインからの把持と手内マニピュレーションの改善

実際の使われ方

あるチームが、インピーダンスコントローラを使ってペグをきつくはまる穴に挿入する。コントローラは確実に穴まで到達するが、小さな位置姿勢の誤差と摩擦のためにしばしば引っかかる。チームは、エンドエフェクタの位置姿勢と手首の力・トルクの読み取り値を見て、コントローラの目標位置に加える小さなオフセットを出力する残差ポリシーを追加し、そのオフセットを狭い範囲にクリップする。残差はゼロから始まるので、最初のエピソードは元のコントローラと同じように振る舞い、挿入深さに基づく報酬を用いて soft actor-critic のようなオフポリシーアルゴリズムで学習される。学習が進むにつれて、引っかかったペグを外す小さな補正動作を学び、大まかな動きは引き続きベースのコントローラが担う。

よくある誤解

• 残差 RL はベースのコントローラを再学習する — ベースポリシーは固定されたままで、学習されるのは加算的な補正だけである
• ベースポリシーは何でもよい — 残差は通常有界なので、質の悪いベースポリシーは組み合わせたシステムが達成できることを制限する
• 残差 RL では報酬設計が不要になる — 残差にもタスクをとらえた報酬が必要であり、ベースポリシーは探索をより簡単で安全にするだけである

知っておくべき人

• ロボット学習の研究者
• 接触の多いタスクに取り組むマニピュレーションのエンジニア
• データで既存のコントローラを改善する制御エンジニア
• Sim-to-Real の実務者

関連技術

• Soft Actor-Critic
• Twin Delayed DDPG（TD3）
• インピーダンス制御（Impedance Control）
• 行動クローニング（Behavior Cloning）
• 近接方策最適化（Proximal Policy Optimization）

関連用語

• Reinforcement Learning
• Soft Actor-Critic
• Impedance Control
• Behavior Cloning
• Sim2Real
• Inverse Reinforcement Learning

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim