Teacher-Student Training

• 別名: privileged learning, learning by cheating, teacher-student distillation, privileged teacher
• カテゴリ: Learning & autonomy › RL & simulation
• タグ: reinforcement-learning, sim-to-real, policy-distillation, robot-learning, locomotion

真のシミュレータ状態のような特権情報を持つ教師ポリシーを、実機のロボットで使えるセンサだけを用いる生徒ポリシーへ蒸留する学習方式。

定義

教師-生徒学習（Teacher-student training）は、主にシミュレーションで用いられる 2 段階のロボット学習の手法で、何をすべきかの学習と、それを現実的なセンサから推定する方法の学習とを切り分ける。第 1 段階では、通常は強化学習により、実機のロボットが持たない特権情報、すなわち正確な地形の高さ、摩擦係数、物体の姿勢、接触状態、あるいはシミュレータの完全な状態を与えながら、教師ポリシーを学習させる。この情報があれば、タスクの学習ははるかに容易になる。

第 2 段階では、関節エンコーダ、IMU、カメラ画像、あるいは過去の観測の短い履歴など、ハードウェア上で得られる観測だけを使って教師の振る舞いを再現するように、生徒ポリシーを学習させる。教師にはどの状態でも問い合わせられるため、生徒は教師あり学習で訓練され、多くの場合、生徒がシミュレーションを動かし、訪れた各状態で教師が正しい行動を与える DAgger 型のデータ収集が使われる。生徒は、ロボットがどう動いてきたかから地面の摩擦などの隠れた量を推定できるよう、再帰型ネットワークや履歴エンコーダを用いることが多い。

この手法は、critic だけが特権状態を見る非対称 actor-critic 手法や、より一般的なポリシー蒸留と密接に関連している。自動運転では 2019 年に Chen らによって「learning by cheating」として発表され、2020 年に Lee らがこの方法で四足ロボットのコントローラを学習させ、起伏のある自然の地形に展開してから、脚移動で広く使われるようになった。

主な制約は、生徒の性能がそのセンサの持つ情報以上にはなりえないことである。教師が生徒には推定できないものに頼っていると、生徒は及ばない。

重要な理由

ノイズを含む不完全なセンサデータから強化学習で直接学ぶのは、遅く不安定である。教師-生徒学習では、難しい制御問題をまず完全な情報のもとで解き、そのスキルを実機のロボットで動かせるポリシーへ移すことができるため、脚ロボットや器用なハンドの sim-to-real パイプラインの標準的な要素となっている。

主な用途

• 主に固有受容感覚を用いた不整地での脚移動
• 物体の完全な状態で先に学習させたポリシーによる器用な手内操作
• 状態ベースのエキスパートから蒸留した、視覚ベースのナビゲーションや運転のポリシー
• 重要な物理パラメータをハードウェア上で計測できない場合の sim-to-real 転移

実際の使われ方

Isaac Lab などの GPU シミュレータで四足ロボットのコントローラを学習させるチームは、まず PPO で教師を学習させ、固有受容感覚に加えて特権的な地形のサンプルと接触情報を与え、摩擦とペイロードについてドメインランダム化を行う。教師が信頼できるようになったら、固有受容感覚の履歴だけを受け取る生徒を、ときにはノイズを含む高さマップや深度の入力も加えて、教師の行動や潜在特徴に合わせるように学習させる。学習データは、多数の並列環境で生徒をロールアウトし、訪れた各状態に教師の出力をラベルとして付けることで得る。その後、生徒は実機のロボットに展開され、エンジニアは滑りやすい床やロボットから見えない障害物など、隠れた情報が最も重要になる状況でそれを試験する。

よくある誤解

• 生徒には実世界の学習データが必要である — 通常は両段階ともすべてシミュレーションで学習し、生徒はゼロショットで展開される
• 生徒は教師を単にまねるだけである — 生徒は自分のセンサ履歴から隠れた情報を推定しなければならず、そこが難しい部分である
• 教師-生徒学習は強化学習に取って代わる — 教師は通常 RL で学習させ、教師あり蒸留なのは生徒の段階だけである

知っておくべき人

• sim-to-real 転移に取り組むロボット学習の研究者
• 脚移動制御のエンジニア
• 器用なマニピュレーションの研究者
• ハードウェアにポリシーを展開する強化学習の実務者

関連技術

• Isaac Lab
• DAgger
• 非対称 Actor-Critic（Asymmetric Actor-Critic）
• ポリシー蒸留（Policy Distillation）
• Proximal Policy Optimization（PPO）
• MuJoCo

関連用語

• Reinforcement Learning
• Sim2Real
• Domain Randomization
• Curriculum Learning

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim