Visuomotor Policy

También llamado: end-to-end visuomotor control, vision-based policy
Categoría: Learning & autonomy › Learning from demonstration
Etiquetas: imitation-learning, robot-learning, manipulation, computer-vision, end-to-end-learning

Una política de control que transforma directamente imágenes de cámara, a menudo junto con el estado articular, en acciones del robot, aprendiendo la percepción y el control como un único modelo.

Definición

Una política visuomotora (visuomotor policy) recibe observaciones visuales, normalmente una o varias imágenes de cámara, a menudo combinadas con el estado propioceptivo como las posiciones articulares y la apertura de la pinza, y produce órdenes motoras: pares articulares, velocidades articulares, poses del efector final u órdenes de la pinza. La percepción y el control se aprenden juntos, de modo que las características visuales que extrae la política se moldean según lo que le ayuda a actuar, en lugar de ser salidas fijas como las poses de objetos de un módulo de percepción separado. Sergey Levine, Chelsea Finn y colaboradores generalizaron el término con su trabajo de 2016 sobre el entrenamiento de extremo a extremo de políticas visuomotoras profundas.

La mayoría de las políticas visuomotoras se entrenan por aprendizaje por imitación a partir de demostraciones teleoperadas, por aprendizaje por refuerzo o por una combinación de ambos. Las arquitecturas típicas pasan las imágenes por un codificador convolucional o transformador, fusionan el resultado con la propiocepción y decodifican las acciones con un perceptrón multicapa, un transformador o un modelo generativo como una política de difusión (diffusion policy) capaz de representar varias acciones válidas. La eficiencia de datos es el problema central: las imágenes son de alta dimensión, las demostraciones son caras y las políticas pueden aferrarse a detalles irrelevantes como la iluminación o el fondo.

Un gran conjunto de trabajos aborda esto preentrenando el codificador visual con otros datos, como grandes conjuntos de imágenes o vídeos de personas, y entrenando después solo una pequeña cabeza de política con demostraciones del robot. Lo bien que aprenden las políticas visuomotoras con pocas demostraciones sobre un codificador congelado se ha convertido en una forma habitual de evaluar estas representaciones. Otros métodos añaden aumento de datos, varias vistas de cámara, incluidas cámaras de muñeca, y chunking de acciones para reducir la acumulación de errores. Los modelos de visión-lenguaje-acción amplían la idea condicionando además la política a instrucciones en lenguaje.

Por qué importa

Las políticas visuomotoras permiten a los robots abordar tareas en las que el estado relevante es difícil de diseñar a mano, como objetos deformables, entornos abarrotados o inserciones precisas, aprendiendo directamente de los píxeles. Están en el núcleo de la mayoría de los sistemas actuales de aprendizaje por imitación para manipulación.

Aplicaciones clave

Aprendizaje por imitación para manipulación sobre mesa y en cocina
Agarre y pick-and-place a partir de la entrada de cámara
Manejo de objetos deformables, como el plegado de ropa
Evaluación de representaciones visuales preentrenadas para robótica
Control de drones y vehículos a partir de cámaras a bordo

En la práctica

Un equipo que enseña a un brazo robótico a colgar una taza en un soporte recoge demostraciones teleoperadas con una cámara de escena fija y una cámara de muñeca, grabando imágenes, posiciones articulares y movimientos ordenados del efector final. Entrena una política que codifica cada imagen con una red troncal de visión preentrenada, concatena las características con el estado articular y predice un fragmento corto de acciones futuras. Los recortes aleatorios y la variación de color durante el entrenamiento ayudan a la política a ignorar pequeños desplazamientos de la cámara y cambios de iluminación. En el robot, la política se ejecuta en lazo cerrado a la frecuencia de fotogramas de la cámara, y el equipo la prueba con tazas en posiciones nuevas y con objetos distractores para comprobar que atiende a las partes correctas de la imagen.

Ideas erróneas comunes

Las políticas visuomotoras usan solo imágenes — la mayoría combina imágenes con propiocepción, que a menudo es crítica para un control preciso
De extremo a extremo significa sin decisiones de diseño — la arquitectura, la representación de las acciones, la colocación de las cámaras y los codificadores preentrenados influyen mucho en los resultados
Una política que funciona en las escenas de entrenamiento funcionará en escenas nuevas — las políticas visuomotoras son sensibles a la iluminación, los fondos y la pose de la cámara salvo que se entrenen para esa variación

Quién debería saberlo

Investigadores en aprendizaje de robots
Ingenieros de manipulación que construyen sistemas de aprendizaje por imitación
Investigadores en visión por computador que trabajan en representaciones para robótica
Equipos que recogen datos de demostración de robots

Tecnologías relacionadas

Diffusion Policy
Action Chunking with Transformers (ACT)
Representaciones visuales preentrenadas (Pretrained Visual Representations)
Modelos de visión-lenguaje-acción (Vision-Language-Action Models)
Redes neuronales convolucionales (Convolutional Neural Networks)

Términos relacionados

Proyectos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
OpenPI: Physical Intelligence VLA foundation models for general robot control
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

Vídeos

End-to-End Training of Deep Visuomotor Policies: RAIL
Fall 2022 6.4210/2 Lecture 17: Visuomotor policies (behavior cloning): underactuated