Visuomotor Policy

• 又稱: end-to-end visuomotor control, vision-based policy
• 類別: Learning & autonomy › Learning from demonstration
• 標籤: imitation-learning, robot-learning, manipulation, computer-vision, end-to-end-learning

一種控制策略，把攝影機影像（常連同關節狀態）直接對應到機器人動作，將感知與控制當作單一模型來學習。

定義

視覺運動策略（Visuomotor policy）以視覺觀測為輸入，通常是一張或多張攝影機影像，並常與關節位置、夾爪開口寬度等本體感知狀態結合，輸出馬達指令：關節力矩、關節速度、末端執行器位姿或夾爪指令。感知與控制是一起學習的，因此策略擷取的視覺特徵，是由什麼有助於它行動所形塑，而不是像來自獨立感知模組的物體位姿那樣的固定輸出。Sergey Levine、Chelsea Finn 及其同事在 2016 年關於深度視覺運動策略端到端訓練的研究中，讓這個術語廣為使用。

大多數視覺運動策略是透過從遙控操作示範進行模仿學習、透過強化學習，或兩者結合來訓練。典型的架構讓影像通過卷積編碼器或 Transformer 編碼器，把結果與本體感知合併，再以多層感知器、Transformer，或擴散策略這類能表示多個有效動作的生成模型來解碼動作。資料效率是核心問題：影像是高維的，示範成本很高，而策略可能會緊抓光線或背景等無關的細節。

大量研究透過在其他資料上預訓練視覺編碼器來處理這個問題，例如大型影像資料集或人類的影片，然後只在機器人示範上訓練一個小的策略頭。在凍結的編碼器之上，少量示範的視覺運動策略能學得多好，已成為評估這類表徵的常見方式。其他方法則加入資料擴增、包括腕部攝影機在內的多攝影機視角，以及用來減少誤差累積的動作分塊。視覺-語言-動作模型延伸了這個概念，讓策略也以語言指令為條件。

為何重要

視覺運動策略讓機器人能處理相關狀態難以人工設計的任務，例如可變形物體、雜亂場景或精密插入，方法是直接從像素學習。它們是當前多數操作用模仿學習系統的核心。

主要應用

• 桌面與廚房操作的模仿學習
• 從攝影機輸入進行抓取與取放
• 摺衣服等可變形物體的處理
• 評估機器人用的預訓練視覺表徵
• 以機上攝影機控制無人機與車輛

實際應用

一個教機器手臂把馬克杯掛到架子上的團隊，以一台固定的場景攝影機與一台腕部攝影機蒐集遙控操作示範，記錄影像、關節位置與指令的末端執行器運動。他們訓練的策略以預訓練的視覺骨幹網路編碼每張影像，把特徵與關節狀態串接起來，並預測一小段未來動作。訓練時的隨機裁切與色彩抖動，幫助策略忽略攝影機的小幅偏移與光線變化。在機器人上，策略以攝影機影格率閉迴路執行，團隊用擺在新位置的馬克杯與干擾物體來測試它，以確認它注意的是影像中正確的部分。

常見誤解

• 視覺運動策略只使用影像 — 多數策略會把影像與本體感知結合，而本體感知對精確控制往往至關重要
• 端到端代表不需要做設計選擇 — 架構、動作表示法、攝影機擺放位置與預訓練編碼器都會強烈影響結果
• 在訓練場景有效的策略在新場景也會有效 — 除非針對這些變化進行訓練，否則視覺運動策略對光線、背景與攝影機位姿都很敏感

誰需要了解

• 機器人學習研究人員
• 建構模仿學習系統的操作工程師
• 研究機器人用表徵的電腦視覺研究人員
• 蒐集機器人示範資料的團隊

相關技術

• 擴散策略（Diffusion Policy）
• 以 Transformer 進行動作分塊（Action Chunking with Transformers，ACT）
• 預訓練視覺表徵（Pretrained Visual Representations）
• 視覺-語言-動作模型（Vision-Language-Action Models）
• 卷積神經網路（Convolutional Neural Networks）

相關術語

• Behavior Cloning
• Imitation Learning
• Diffusion Policy
• Action Chunking
• Proprioception
• VLA

相關專案

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

影片

• End-to-End Training of Deep Visuomotor Policies: RAIL
• Fall 2022 6.4210/2 Lecture 17: Visuomotor policies (behavior cloning): underactuated