Asymmetric Actor-Critic

• 別名: asymmetric critic, privileged critic
• カテゴリ: Learning & autonomy › RL & simulation
• タグ: reinforcement-learning, sim-to-real, privileged-information, actor-critic, robot-learning

actor-critic 型強化学習の構成の一つで、クリティックはシミュレータの特権状態で訓練され、アクターは実機が持つことになる観測だけを使う。

定義

非対称 actor-critic（Asymmetric actor-critic）は、訓練環境が配備後のロボットよりも多くの情報を知っている場合に、actor-critic 型の強化学習アルゴリズムでポリシーを訓練する方法である。配備されるポリシーとなるアクターは、カメラ画像、関節エンコーダ、ノイズを含む物体姿勢推定など、現実に得られる観測だけを受け取る。クリティックは状態の価値を推定し、訓練中に方策勾配の分散を減らすためだけに存在するもので、正確な物体の姿勢と速度、接触力、摩擦係数、その他のシミュレータの状態といった追加の特権情報を与えられる。Pinto らは 2018 年、画像に基づくロボット学習のためにこの用語を導入した。そこではアクターが画像を、クリティックが完全な状態を見ていた。

この考え方が機能するのは、クリティックが訓練後に捨てられるからである。クリティックが使うものは何一つ実機で測定する必要がないため、価値推定を最も容易にする情報を何でも与えられる。完全な状態をもつクリティックは、部分的な観測から隠れた量を推測しなければならないクリティックよりも速く正確に学習し、アクターによりよい学習信号を与える。この手法は、Isaac Gym での手内での向き変えに使われた PPO のようなオンポリシー手法にも、DDPG や SAC のようなオフポリシー手法にも自然に適合する。

非対称 actor-critic は教師-生徒学習（teacher-student training）とは異なる。教師-生徒学習では、まず特権入力を使って別個の教師ポリシーを訓練し、それを実際の観測だけを見る生徒ポリシーへ蒸留する。非対称 actor-critic ではポリシーは一つで、現実に得られる入力のもとで強化学習により直接訓練され、特権をもつのは価値関数だけである。両者はしばしば組み合わされる。注意すべき点として、部分観測のもとでは、真の状態だけを条件とするクリティックは、観測履歴に基づいて行動するポリシーに対して偏った価値推定を与えることがある。そのため多くの実装では、クリティックに特権状態とアクターの観測の両方を入力する。

重要な理由

Sim-to-Real の強化学習には実際のセンサーで動作するポリシーが必要だが、部分的でノイズを含む観測からの学習は遅く不安定である。クリティックにシミュレータの特権状態を与えることは標準的なアルゴリズムへの安価な変更であり、配備されたロボットが測定しなければならないものを何も増やさずに、訓練を大幅に速く信頼性の高いものにすることが多い。

主な用途

• 器用なロボットハンドによる手内での物体の向き変え
• シミュレーションで訓練する画像ベースのマニピュレーションポリシー
• 特権的な地形・接触情報を用いて訓練する脚ロボットのロコモーションポリシー
• GPU 並列シミュレータを用いた Sim-to-Real 強化学習
• シミュレータが隠れた状態を公開する部分観測の制御タスク

実際の使われ方

あるチームは、GPU シミュレータ上で PPO を使い、多指ハンドに物体の向きを変えさせる訓練をしている。アクターネットワークは、指先位置、関節角度、そしてノイズと遅延を加えた物体姿勢推定を受け取る。これはカメラベースの姿勢トラッカーが実機で提供する情報に合わせたものである。クリティックネットワークは同じ入力に加えて、正確な物体姿勢、並進速度と角速度、目標の向き、その環境でランダム化された摩擦と質量の値を受け取る。二つのネットワークは同じロールアウトを共有し、一緒に更新される。配備時にはアクターの重みだけがロボットのコンピュータに書き出され、クリティックとシミュレータにしかない入力は二度と必要にならない。

よくある誤解

• 配備されたポリシーが特権状態を使う — それを見るのは訓練中のクリティックだけであり、クリティックは配備時に捨てられる
• 教師-生徒学習と同じである — 教師-生徒学習は特権ポリシーを訓練してから蒸留するのに対し、非対称 actor-critic は特権をもつ価値関数を使って現実的な入力のポリシーを一つ直接訓練する
• 状態だけを使うクリティックは常に正しい — 部分観測のもとでは、観測に基づくアクターに対する価値推定に偏りが生じうる。クリティックにアクターの観測もあわせて与えることが多いのはこのためである

知っておくべき人

• Sim-to-Real 転移に取り組む強化学習エンジニア
• 器用なマニピュレーションの研究者
• シミュレーションでポリシーを訓練する脚ロボットのロコモーション開発者
• 訓練用の観測空間を設計するシミュレーションエンジニア

関連技術

• 近接方策最適化（Proximal Policy Optimization）
• Isaac Gym
• 特権学習（Privileged Learning）
• ドメインランダム化（Domain Randomization）
• Soft Actor-Critic

関連用語

• Teacher-Student Training
• Proximal Policy Optimization
• Reinforcement Learning
• Sim2Real
• Partially Observable Markov Decision Process (POMDP)
• Domain Randomization

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim