Visuomotor Policy

Aussi appelé: end-to-end visuomotor control, vision-based policy
Catégorie: Learning & autonomy › Learning from demonstration
Mots-clés: imitation-learning, robot-learning, manipulation, computer-vision, end-to-end-learning

Une politique de commande qui associe directement des images de caméra, souvent avec l'état articulaire, à des actions du robot, en apprenant la perception et la commande comme un seul modèle.

Définition

Une politique visuomotrice (visuomotor policy) prend des observations visuelles, généralement une ou plusieurs images de caméra, souvent combinées à un état proprioceptif comme les positions articulaires et l'ouverture de la pince, et produit des commandes motrices : couples articulaires, vitesses articulaires, poses de l'effecteur terminal ou commandes de la pince. Perception et commande sont apprises ensemble, si bien que les caractéristiques visuelles extraites par la politique sont façonnées par ce qui l'aide à agir, au lieu d'être des sorties fixes comme des poses d'objets fournies par un module de perception séparé. Sergey Levine, Chelsea Finn et leurs collègues ont popularisé le terme avec leurs travaux de 2016 sur l'entraînement de bout en bout de politiques visuomotrices profondes.

La plupart des politiques visuomotrices sont entraînées par apprentissage par imitation à partir de démonstrations téléopérées, par apprentissage par renforcement, ou par une combinaison des deux. Les architectures typiques font passer les images dans un encodeur convolutif ou Transformer, fusionnent le résultat avec la proprioception, et décodent les actions avec un perceptron multicouche, un Transformer ou un modèle génératif comme une politique de diffusion capable de représenter plusieurs actions valides. L'efficacité des données est le problème central : les images sont de grande dimension, les démonstrations coûtent cher, et les politiques peuvent s'accrocher à des détails non pertinents comme l'éclairage ou l'arrière-plan.

De nombreux travaux y répondent en préentraînant l'encodeur visuel sur d'autres données, comme de grands jeux de données d'images ou des vidéos de personnes, puis en n'entraînant qu'une petite tête de politique sur des démonstrations robotiques. La qualité de l'apprentissage de politiques visuomotrices à partir de peu de démonstrations sur un encodeur figé est devenue une façon courante d'évaluer ces représentations. D'autres méthodes ajoutent l'augmentation de données, plusieurs points de vue de caméra dont des caméras au poignet, et l'action chunking pour réduire l'accumulation d'erreurs. Les modèles vision-langage-action étendent l'idée en conditionnant aussi la politique sur des instructions en langage naturel.

Pourquoi c'est important

Les politiques visuomotrices permettent aux robots de traiter des tâches où l'état pertinent est difficile à concevoir à la main, comme les objets déformables, l'encombrement ou l'insertion précise, en apprenant directement à partir des pixels. Elles sont au cœur de la plupart des systèmes actuels d'apprentissage par imitation pour la manipulation.

Applications principales

Apprentissage par imitation pour la manipulation sur table et en cuisine
Saisie et saisie-dépose à partir de l'entrée caméra
Manipulation d'objets déformables comme le pliage de vêtements
Évaluation de représentations visuelles préentraînées pour la robotique
Commande de drones et de véhicules à partir de caméras embarquées

En pratique

Une équipe qui apprend à un bras robotique à suspendre une tasse à un support collecte des démonstrations téléopérées avec une caméra de scène fixe et une caméra au poignet, en enregistrant les images, les positions articulaires et les mouvements commandés de l'effecteur terminal. Elle entraîne une politique qui encode chaque image avec un réseau de vision préentraîné, concatène les caractéristiques avec l'état articulaire et prédit un court bloc d'actions futures. Des recadrages aléatoires et des variations de couleur pendant l'entraînement aident la politique à ignorer les petits décalages de caméra et les changements d'éclairage. Sur le robot, la politique s'exécute en boucle fermée à la cadence d'images de la caméra, et l'équipe la teste avec des tasses placées à de nouvelles positions et avec des objets distracteurs pour vérifier qu'elle prête attention aux bonnes parties de l'image.

Idées reçues

Les politiques visuomotrices n'utilisent que des images — la plupart combinent les images avec la proprioception, souvent essentielle pour une commande précise
De bout en bout signifie sans choix de conception — l'architecture, la représentation des actions, le placement des caméras et les encodeurs préentraînés influent tous fortement sur les résultats
Une politique qui fonctionne dans les scènes d'entraînement fonctionnera dans de nouvelles — les politiques visuomotrices sont sensibles à l'éclairage, aux arrière-plans et à la pose de la caméra, à moins d'être entraînées pour cette variation

Qui devrait le savoir

Chercheurs en apprentissage robotique
Ingénieurs en manipulation qui construisent des systèmes d'apprentissage par imitation
Chercheurs en vision par ordinateur travaillant sur les représentations pour la robotique
Équipes qui collectent des données de démonstration robotique

Technologies associées

Politique de diffusion (Diffusion Policy)
Action Chunking with Transformers (ACT)
Représentations visuelles préentraînées (Pretrained Visual Representations)
Modèles vision-langage-action (Vision-Language-Action Models)
Réseaux de neurones convolutifs (Convolutional Neural Networks)

Termes associés

Projets associés

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
OpenPI: Physical Intelligence VLA foundation models for general robot control
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

Vidéos

End-to-End Training of Deep Visuomotor Policies: RAIL
Fall 2022 6.4210/2 Lecture 17: Visuomotor policies (behavior cloning): underactuated