Visuomotor Policy

Detto anche: end-to-end visuomotor control, vision-based policy
Categoria: Learning & autonomy › Learning from demonstration
Tag: imitation-learning, robot-learning, manipulation, computer-vision, end-to-end-learning

Una policy di controllo che mappa direttamente le immagini della telecamera, spesso insieme allo stato dei giunti, in azioni del robot, apprendendo percezione e controllo come un unico modello.

Definizione

Una policy visuomotoria (visuomotor policy) riceve osservazioni visive, di solito una o più immagini della telecamera, spesso combinate con lo stato propriocettivo come le posizioni dei giunti e l'apertura della pinza, e produce comandi motori: coppie ai giunti, velocità dei giunti, pose dell'end effector o comandi della pinza. Percezione e controllo vengono appresi insieme, così le feature visive che la policy estrae sono plasmate da ciò che la aiuta ad agire, invece di essere uscite fisse come le pose degli oggetti fornite da un modulo di percezione separato. Sergey Levine, Chelsea Finn e colleghi hanno diffuso il termine con il loro lavoro del 2016 sull'addestramento end-to-end di policy visuomotorie profonde.

La maggior parte delle policy visuomotorie viene addestrata con l'apprendimento per imitazione da dimostrazioni in teleoperazione, con l'apprendimento per rinforzo o con una combinazione dei due. Le architetture tipiche fanno passare le immagini attraverso un encoder convoluzionale o Transformer, uniscono il risultato con la propriocezione e decodificano le azioni con un percettrone multistrato, un Transformer o un modello generativo come una diffusion policy in grado di rappresentare più azioni valide. L'efficienza nell'uso dei dati è il problema centrale: le immagini sono ad alta dimensionalità, le dimostrazioni sono costose e le policy possono aggrapparsi a dettagli irrilevanti come l'illuminazione o lo sfondo.

Un ampio filone di lavori affronta il problema preaddestrando l'encoder visivo su altri dati, come grandi dataset di immagini o video di persone, e addestrando poi solo una piccola testa di policy sulle dimostrazioni del robot. Quanto bene imparano le policy visuomotorie con poche dimostrazioni sopra un encoder congelato è diventato un modo comune di valutare queste rappresentazioni. Altri metodi aggiungono data augmentation, più viste di telecamera, comprese telecamere da polso, e action chunking per ridurre l'accumulo degli errori. I modelli visione-linguaggio-azione estendono l'idea condizionando la policy anche a istruzioni in linguaggio.

Perché è importante

Le policy visuomotorie permettono ai robot di affrontare compiti in cui lo stato rilevante è difficile da progettare a mano, come oggetti deformabili, ambienti ingombri o inserimenti precisi, imparando direttamente dai pixel. Sono al centro della maggior parte degli attuali sistemi di apprendimento per imitazione per la manipolazione.

Applicazioni principali

Apprendimento per imitazione per la manipolazione su tavolo e in cucina
Presa e pick-and-place a partire dall'ingresso della telecamera
Gestione di oggetti deformabili, come la piegatura dei vestiti
Valutazione di rappresentazioni visive preaddestrate per la robotica
Controllo di droni e veicoli da telecamere di bordo

In pratica

Un team che insegna a un braccio robotico ad appendere una tazza a un supporto raccoglie dimostrazioni in teleoperazione con una telecamera di scena fissa e una telecamera da polso, registrando immagini, posizioni dei giunti e movimenti comandati dell'end effector. Addestra una policy che codifica ogni immagine con un backbone visivo preaddestrato, concatena le feature con lo stato dei giunti e predice un breve blocco di azioni future. Ritagli casuali e variazioni di colore durante l'addestramento aiutano la policy a ignorare piccoli spostamenti della telecamera e cambiamenti di illuminazione. Sul robot, la policy gira ad anello chiuso alla frequenza dei fotogrammi della telecamera, e il team la prova con tazze in posizioni nuove e con oggetti distrattori per verificare che presti attenzione alle parti giuste dell'immagine.

Idee sbagliate comuni

Le policy visuomotorie usano solo immagini — la maggior parte combina le immagini con la propriocezione, spesso fondamentale per un controllo preciso
End-to-end significa nessuna scelta progettuale — architettura, rappresentazione delle azioni, posizionamento delle telecamere ed encoder preaddestrati influiscono fortemente sui risultati
Una policy che funziona nelle scene di addestramento funzionerà in scene nuove — le policy visuomotorie sono sensibili a illuminazione, sfondi e posa della telecamera, a meno che non siano addestrate per quella variazione

Chi dovrebbe saperlo

Ricercatori di apprendimento robotico
Ingegneri di manipolazione che costruiscono sistemi di apprendimento per imitazione
Ricercatori di visione artificiale che lavorano su rappresentazioni per la robotica
Team che raccolgono dati di dimostrazione per robot

Tecnologie correlate

Diffusion Policy
Action Chunking with Transformers (ACT)
Rappresentazioni visive preaddestrate (Pretrained Visual Representations)
Modelli visione-linguaggio-azione (Vision-Language-Action Models)
Reti neurali convoluzionali (Convolutional Neural Networks)

Termini correlati

Progetti correlati

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
OpenPI: Physical Intelligence VLA foundation models for general robot control
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

Video

End-to-End Training of Deep Visuomotor Policies: RAIL
Fall 2022 6.4210/2 Lecture 17: Visuomotor policies (behavior cloning): underactuated