Loco-Manipulation

También llamado: loco manipulation, locomanipulation, whole-body loco-manipulation, legged mobile manipulation
Categoría: Control › Locomotion control
Etiquetas: humanoid, legged-robots, whole-body-control, manipulation, locomotion, mobile-manipulation

El uso coordinado de las capacidades de locomoción y de manipulación de un robot, en el que mover el cuerpo y manejar objetos se planifican y controlan conjuntamente en lugar de como pasos separados.

Definición

Locomanipulación (loco-manipulation) designa las tareas en las que un robot debe desplazar su cuerpo por el entorno e interactuar físicamente con objetos al mismo tiempo, o en una secuencia estrechamente acoplada. Algunos ejemplos son un humanoide que sube una caja por una rampa, un cuadrúpedo con un brazo que abre una puerta y la cruza, o un robot con patas que empuja un carro. El término une locomoción y manipulación para subrayar que ambas no pueden tratarse de forma independiente cuando la base del robot es móvil y sus contactos con el mundo cambian continuamente.

La manipulación móvil clásica suele desacoplar el problema: llevar la base hasta un lugar, detenerse y después usar el brazo. La locomanipulación, en cambio, trata todo el cuerpo como un único sistema. Las fuerzas que aplican las manos o el efector final afectan al equilibrio, a la colocación de los pies y al movimiento de la base, y el movimiento de la base, a su vez, cambia lo que los brazos pueden alcanzar. Un humanoide que levanta un objeto pesado debe desplazar su centro de masa; un cuadrúpedo que pulsa un botón con una pata delantera pierde esa pata como apoyo.

Los enfoques se dividen en dos grandes familias. Los métodos basados en modelos usan control de cuerpo completo y optimización, como el control predictivo basado en modelo sobre secuencias de contactos y dinámica centroidal, y resuelven a la vez las tareas de los pies, las manos y el torso bajo límites de fricción y de par. Los métodos basados en aprendizaje entrenan políticas con aprendizaje por refuerzo en simulación o aprenden a partir de datos de movimiento humano, a menudo haciendo retargeting de demostraciones humanas al cuerpo del robot. Los sistemas híbridos combinan una política de locomoción aprendida con planificadores o controladores basados en modelos para los objetivos de manipulación.

Entre las principales dificultades están planificar secuencias de contactos que implican tanto al entorno como al objeto manipulado, regular las fuerzas de interacción manteniendo el equilibrio y obtener suficientes datos de entrenamiento que reflejen interacciones realistas entre humanos y objetos. Las plataformas usadas en este trabajo incluyen robots humanoides, cuadrúpedos equipados con brazos y robots con patas y ruedas.

Por qué importa

Muchas tareas útiles en hogares, almacenes y zonas de desastre requieren que un robot transporte, empuje, abra o trepe mientras se desplaza, no solo que camine o solo que agarre. La locomanipulación es la capacidad que convierte a los robots con patas y los robots humanoides de plataformas móviles en máquinas capaces de hacer trabajo físico en espacios construidos para personas.

Aplicaciones clave

Robots humanoides que transportan, levantan y colocan objetos mientras caminan
Cuadrúpedos con brazos que abren puertas, pulsan botones y recogen objetos
Empujar y tirar de carros, carretillas y objetos pesados
Subirse a muebles, escaleras y otros elementos de la escena e interactuar con ellos
Tareas de inspección e intervención en instalaciones industriales o zonas de desastre

En la práctica

Un equipo que trabaja con un humanoide, o con un cuadrúpedo con brazo, suele partir de un controlador de locomoción fiable y añadirle después objetivos de manipulación, ya sea como tareas adicionales en un controlador de cuerpo completo o como comandos y recompensas adicionales para una política aprendida. En simulación aleatorizan la masa de los objetos, la fricción y las posiciones de contacto para que la política aprenda a mantener el equilibrio bajo cargas inesperadas. A menudo se hace retargeting al robot de datos de captura de movimiento humano o de teleoperación para obtener movimientos de referencia para interacciones como recoger cajas o sentarse en muebles. En el hardware, los ingenieros prueban con distintos pesos de carga útil y vigilan los pares articulares y los estados de contacto de los pies para ver dónde el controlador hace el compromiso entre equilibrio y rendimiento en la tarea.

Ideas erróneas comunes

La locomanipulación es solo una base móvil con un brazo atornillado — su rasgo definitorio es que el movimiento del cuerpo y las fuerzas de interacción están acoplados y deben controlarse conjuntamente
Basta con combinar buenos controladores de locomoción y de manipulación — las fuerzas de la manipulación perturban el equilibrio y requieren un control de cuerpo completo coordinado o un entrenamiento conjunto
Solo se aplica a humanoides — los cuadrúpedos con brazos, los robots con patas y ruedas y los robots que manipulan con las patas se estudian todos bajo el mismo término

Quién debería saberlo

Investigadores en robótica humanoide y con patas
Ingenieros de control que trabajan en control de cuerpo completo
Equipos de aprendizaje de robots que entrenan políticas para manipulación móvil
Desarrolladores que integran brazos en plataformas cuadrúpedas

Tecnologías relacionadas

Control de cuerpo completo (Whole-Body Control)
Control predictivo basado en modelo (Model Predictive Control)
Aprendizaje por refuerzo (Reinforcement Learning)
Retargeting de movimiento (Motion Retargeting)
Dinámica centroidal (Centroidal Dynamics)
Optimización con contacto implícito (Contact-Implicit Optimization)

Términos relacionados

Proyectos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Open Duck Mini V2: An open-source mini duck robot you 3D-print and build, inspired by Disney's BDX droid
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation