Visuomotor Policy

• 別名: end-to-end visuomotor control, vision-based policy
• カテゴリ: Learning & autonomy › Learning from demonstration
• タグ: imitation-learning, robot-learning, manipulation, computer-vision, end-to-end-learning

カメラ画像を、多くの場合は関節状態とともに、ロボットの行動へ直接写像し、知覚と制御を単一のモデルとして学習する制御ポリシー。

定義

視覚運動ポリシー（Visuomotor policy）は、視覚的な観測、通常は 1 枚以上のカメラ画像を、多くの場合は関節位置やグリッパーの開き幅といった固有受容の状態と組み合わせて受け取り、関節トルク、関節速度、エンドエフェクタの位置姿勢、グリッパーの指令といったモーター指令を出力する。知覚と制御が一緒に学習されるため、ポリシーが抽出する視覚特徴は、別個の知覚モジュールが出す物体の位置姿勢のような固定の出力ではなく、行動に役立つものによって形づくられる。Sergey Levine、Chelsea Finn らが 2016 年の深層視覚運動ポリシーの end-to-end 学習に関する研究でこの用語を広めた。

ほとんどの視覚運動ポリシーは、遠隔操作によるデモンストレーションからの模倣学習、強化学習、またはその両方の組み合わせで学習される。典型的なアーキテクチャは、画像を畳み込みエンコーダまたは トランスフォーマーエンコーダに通し、その結果を固有受容と統合し、多層パーセプトロン、トランスフォーマー、あるいは複数の有効な行動を表現できる拡散ポリシーのような生成モデルで行動をデコードする。中心的な問題はデータ効率である。画像は高次元で、デモンストレーションは高価であり、ポリシーは照明や背景のような無関係な細部に飛びつくことがある。

多くの研究は、大規模な画像データセットや人の動画など他のデータで視覚エンコーダを事前学習し、ロボットのデモンストレーションでは小さなポリシーヘッドだけを学習することでこの問題に対処している。凍結したエンコーダの上で、少数のデモンストレーションによる視覚運動ポリシーがどれだけうまく学習できるかは、こうした表現を評価する一般的な方法になっている。他の手法では、データ拡張、手首カメラを含む複数のカメラ視点、そして誤差の累積を減らすアクションチャンキングを加える。視覚・言語・行動モデルは、ポリシーを言語指示にも条件付けることでこの考え方を拡張している。

重要な理由

視覚運動ポリシーにより、ロボットは変形物体、雑然とした環境、精密な挿入など、関係する状態を人手で設計しにくいタスクを、画素から直接学習することで扱えるようになる。現在のマニピュレーション向け模倣学習システムのほとんどで中核を担っている。

主な用途

• 卓上やキッチンでのマニピュレーションの模倣学習
• カメラ入力からの把持とピックアンドプレース
• 布の折りたたみなどの変形物体の扱い
• ロボティクス向けの事前学習済み視覚表現の評価
• 搭載カメラによるドローンや車両の制御

実際の使われ方

ロボットアームにマグカップをラックに掛けることを教えるチームが、固定のシーンカメラと手首カメラを使って遠隔操作によるデモンストレーションを収集し、画像、関節位置、指令したエンドエフェクタの動きを記録する。チームが学習させるポリシーは、事前学習済みの視覚バックボーンで各画像をエンコードし、その特徴を関節状態と連結して、将来の行動の短いチャンクを予測する。学習中のランダムクロップとカラージッターは、ポリシーがカメラの小さなずれや照明の変化を無視するのに役立つ。ロボット上では、ポリシーはカメラのフレームレートで閉ループで動作し、チームは新しい位置に置いたマグカップや紛らわしい物体を使ってテストし、ポリシーが画像の正しい部分に注目しているかを確認する。

よくある誤解

• 視覚運動ポリシーは画像だけを使う — ほとんどは画像と固有受容を組み合わせており、精密な制御には固有受容が決定的に重要なことが多い
• end-to-end とは設計上の選択が不要という意味である — アーキテクチャ、行動の表現、カメラの配置、事前学習済みエンコーダのすべてが結果に強く影響する
• 学習時のシーンで動くポリシーは新しいシーンでも動く — 視覚運動ポリシーは、そうした変化に対して学習していない限り、照明、背景、カメラの位置姿勢に敏感である

知っておくべき人

• ロボット学習の研究者
• 模倣学習システムを構築するマニピュレーションのエンジニア
• ロボティクス向けの表現に取り組むコンピュータビジョンの研究者
• ロボットのデモンストレーションデータを収集するチーム

関連技術

• 拡散ポリシー（Diffusion Policy）
• Transformer によるアクションチャンキング（Action Chunking with Transformers、ACT）
• 事前学習済み視覚表現（Pretrained Visual Representations）
• 視覚・言語・行動モデル（Vision-Language-Action Models）
• 畳み込みニューラルネットワーク（Convolutional Neural Networks）

関連用語

• Behavior Cloning
• Imitation Learning
• Diffusion Policy
• Action Chunking
• Proprioception
• VLA

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

動画

• End-to-End Training of Deep Visuomotor Policies: RAIL
• Fall 2022 6.4210/2 Lecture 17: Visuomotor policies (behavior cloning): underactuated