Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Offline Reinforcement Learning

  • 別名: batch reinforcement learning, batch RL, offline RL
  • カテゴリ: Learning & autonomy › RL & simulation
  • タグ: reinforcement-learning, offline-learning, datasets, distribution-shift, robot-learning

事前に収集された固定の遷移データセットから行う強化学習で、訓練中に環境とそれ以上やり取りしない。

定義

オフライン強化学習（Offline reinforcement learning）は、人、スクリプト化されたコントローラ、あるいは以前のポリシーによって事前に収集された、状態・行動・報酬・次状態からなる静的なデータセットだけからポリシーを学習する。標準的なオンライン RL と異なり、エージェントは訓練中に新しい行動を試してその結果を観測することができない。この設定はロボティクスにとって魅力的である。実世界でのやり取りは遅く、コストがかかり、時に安全でないうえ、大量のロボットデータのログがすでに存在している場合があるからだ。模倣学習と異なり、オフライン RL はデータ中の報酬を使うため、原理的にはデータを生成した行動よりも優れたポリシーを学習できる。たとえば、異なる軌道の良い部分を組み合わせることによってである。

中心的な難しさは、学習したポリシーとデータとの間の分布シフトである。価値ベースの手法は、学習中のポリシーが選ぶであろう次の行動の価値からブートストラップして Q(s, a) を推定する。その行動がデータセットにほとんど、あるいはまったく含まれていなければ、その価値の推定には何の制約もかからず、最大化はまさに価値が誤って高く見積もられた行動を選びがちになる。オンライン RL はそうした行動を試すことで誤差を修正するが、オフライン RL にはそれができない。そのためオフラインの手法は、次のいずれかの方法でデータの近くにとどまる。ポリシーを行動ポリシーの近くに制約する（BCQ、Fujimoto ら、2019 など）、未見の行動の価値にペナルティを課す（conservative Q-learning、Kumar ら、2020 など）、分布外の行動の問い合わせ自体を避ける（implicit Q-learning、Kostrikov ら、2021 など）、あるいはオフポリシーの actor-critic 損失に行動クローニング項を加える、といった方法である。

結果はデータセットに強く依存する。状態と行動のカバー範囲、データを生み出した行動の質、そして報酬が手元にあるのか、事後にラベル付けしなければならないのか、である。一般的なワークフローは、オフラインでの事前学習の後に限られた量のオンラインファインチューニングを行うものである。オフライン RL はオフポリシー RL と関連しているが、別物である。オフポリシーのアルゴリズムは他のポリシーが生成したデータから学習するが、通常は新しいデータの収集を続けており、その収集が止まるとうまく機能しないことが多い。

重要な理由

ほとんどのロボットは実機で何百万回もの試行錯誤エピソードを行う余裕がないが、多くのチームはテレオペレーション、スクリプト実行、以前の実験のログを持っている。オフライン RL は、そうしたデータを安全にポリシーへ変えるために設計された手法群であり、固定データセット上で標準的なオフポリシーアルゴリズムを単に実行するとなぜ失敗することが多いのかも説明してくれる。

主な用途

  • 記録されたテレオペレーションデータやスクリプトデータからのマニピュレーションポリシーの学習
  • 限られたオンラインファインチューニングの前段としてのロボットポリシーの事前学習
  • 報酬ラベルを用いた準最適なデモンストレーションの改善
  • 運転のように探索が安全でない状況でのデータからの学習
  • 以前の実験データを捨てずに再利用すること

実際の使われ方

ある倉庫のチームは、スクリプト化された把持システムが記録した数か月分のピッキング試行のログを持っており、各試行には成功か失敗かのラベルが付いている。新たな試行を行う代わりに、画像とグリッパーの状態を入力として、このログで conservative Q-learning のエージェントを訓練する。デプロイ前には、学習したポリシーが選ぶ把持をデータ分布と比較し、監視付きのテストセルで、訓練に使わなかった少数の物体を使って評価する。その後、人がいつでもロボットを停止できる状態で短期間のオンラインファインチューニングを許可し、まれにしか見られない状況で残っていた誤りを修正する。

よくある誤解

  • オフライン RL はデータセットに対する行動クローニングにすぎない — 報酬を使い、データを上回ることができる。行動クローニングはデータ中の行動を模倣するだけである
  • どのオフポリシーアルゴリズムもオフラインで動く — 新しいデータがなければ、標準的なオフポリシー手法は未見の行動の価値を過大評価し、しばしば破綻する
  • データが多いほどオフラインのポリシーは良くなる — 重要なのはカバー範囲と質であり、ほぼ同じ行動ばかりの大規模データセットには改善の余地がほとんどない
  • オフライン RL は実システムでの評価を必要としない — ポリシー性能のオフライン推定は信頼できないため、実機テストや慎重に設計したシミュレーションテストが依然として必要である

知っておくべき人

  • 大規模なログデータセットを扱うロボット学習の研究者
  • 運用データを生み出すロボットフリートを持つエンジニア
  • シミュレーションから実機へ移行する強化学習の実務者
  • 自動運転やマニピュレーションの ML チーム

関連技術

  • Conservative Q-Learning（CQL）
  • Implicit Q-Learning（IQL）
  • Batch-Constrained Q-Learning（BCQ）
  • D4RL
  • Decision Transformer

関連用語

  • Reinforcement Learning
  • Behavior Cloning
  • Covariate Shift
  • Soft Actor-Critic
  • Markov Decision Process (MDP)
  • Imitation Learning

関連プロジェクト

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

動画

  • Offline Reinforcement Learning: RAIL
  • NeurIPS 2020 Tutorial on Offline RL: Part 1: RAIL

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。