Perceptive pedipulation with local obstacle avoidance

Autores: Jonas Stolle, Philip Arm, Mayank Mittal, Marco Hutter · Humanoids 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Política de RL de extremo a extremo para ANYmal que sigue un comando de posición del pie mientras evita obstáculos con todo el cuerpo, usando un escaneo de alturas 2,5D y un interruptor que permite el contacto deliberado del pie.

Por qué importa

La interfaz de control sigue siendo un único comando de posición del pie, de modo que un operador humano o un planificador de alto nivel puede usarla cerca de obstáculos sin planificar un movimiento libre de colisiones para todo el cuerpo. Da a un cuadrúpedo capacidades de manipulación sin un brazo dedicado, que, según señalan los autores, añade masa y complejidad y reduce la capacidad de carga útil.

Problema

Las políticas de pedipulación anteriores siguen un comando de posición del pie usando solo la propiocepción, por lo que no pueden evitar obstáculos y chocan con cualquier cosa que esté en su camino. Colocar un planificador consciente de los obstáculos por encima de una política ciega sigue dejando libre al resto del cuerpo para colisionar, y los grandes márgenes de seguridad necesarios para evitarlo impiden trabajar en espacios reducidos.

Solución propuesta

Una única política de RL, entrenada en NVIDIA Isaac Lab, recibe la propiocepción, un escaneo de alturas de 2,4 m × 1,6 m con una resolución de 0,1 m y un comando de posición del pie, y produce desplazamientos de posición articular. El entrenamiento se desarrolla en tres etapas: pedipulación sin obstáculos con un currículo sobre el espacio de comandos, después obstáculos cuboides móviles en cinco escenarios con penalizaciones tanto a los eventos como a las fuerzas de contacto, y después ruido añadido al mapa de elevación para la transferencia sim-to-real. Un interruptor de contacto booleano decide si se penaliza el contacto con el pie delantero derecho, de modo que la misma política puede evitar un obstáculo o empujarlo.

Ideas clave

• Penalizar tanto los eventos de contacto como la magnitud de las fuerzas de contacto bloquea dos atajos: empujar un obstáculo con una fuerza mínima y apartarlo con un empujón corto de gran fuerza.
• Cinco escenarios de entrenamiento estáticos con cuboides bastaron para que la política evitara formas no vistas y obstáculos en movimiento; los autores infieren que trata cada celda ocupada del escaneo de alturas como una columna de espacio que hay que evitar, en lugar de reconocer la forma de los objetos.
• Los obstáculos móviles, en lugar de obstáculos de terreno estático, cuestan tiempo de entrenamiento, pero permiten que la política aprenda a empujar objetos cuando el interruptor de contacto lo permite.
• Entrenar primero la pedipulación sin obstáculos y añadir los obstáculos después acelera el entrenamiento.
• La política sigue puntos, no trayectorias, por lo que alcanzar algo detrás de su espalda puede dejarla en una pose poco adecuada para seguir el resto de un recorrido.

Resultados principales

• Seguimiento en espacio libre sobre 1024 comandos muestreados: error medio de 0,057 m con el interruptor de contacto en 0 (evitar) y de 0,047 m con él en 1 (contacto permitido).
• Alcanzar alrededor de una esquina en simulación: la política ciega anterior chocó con la esquina y cayó; la política perceptiva tomó un recorrido más largo y evitó las colisiones.
• Pruebas en simulación con un solo obstáculo: ninguna autocolisión ni colisión con el entorno en las cuatro pruebas; con un obstáculo más bajo, el pie pasó por encima en lugar de rodearlo.
• Cuatro obstáculos: con un hueco de 1,3 m, la política dejó de girar la base y alcanzó detrás de su espalda, con algunas colisiones de baja fuerza en la parte trasera de la base; los recorridos de comando en sentido horario degradaron el seguimiento.
• En el hardware de ANYmal, el pie rodeó una caja de cartón mientras el comando la atravesaba (repetido cinco veces), y rodeó un contenedor metálico redondo no visto en el entrenamiento.
• Interruptor de contacto en hardware: con el interruptor en 1, el robot derribó el obstáculo empujándolo para alcanzar el comando, y terminó con un error de seguimiento de 0,073 m.

Limitaciones

• Los autores afirman que el controlador gestiona mal algunos casos límite, incluidos los obstáculos situados directamente bajo la base y los espacios reducidos no vistos en el entrenamiento.
• El escaneo de alturas 2,5D solo representa estructuras que caben en un mapa 2,5D y que son mayores que el paso de la cuadrícula; los autores piden una representación 3D.
• Los obstáculos dinámicos laterales solo se evitaron en el lado derecho del robot, y la velocidad de reacción está limitada por la frecuencia de actualización del mapa de elevación.
• En simulación, la política se quedaba atascada a veces por su limitado campo de visión perceptivo o por falta de espacio para girar la base.
• Evitar el contacto con el pie que realiza la pedipulación reduce ligeramente la precisión de seguimiento en espacio libre (0,057 m frente a 0,047 m).

Impacto en el campo

Finalista del Humanoids 2024 Best Interactive Presentation Award, con 12 citas. El artículo no enlaza código, políticas entrenadas ni datos.

Resumen

La pedipulación aprovecha los pies de los robots con patas para la manipulación móvil, eliminando la necesidad de brazos robóticos dedicados. Aunque trabajos anteriores han mostrado habilidades de pedipulación ciegas y específicas de cada tarea, no tienen en cuenta los obstáculos estáticos y dinámicos del entorno. Para abordar esta limitación, presentamos un enfoque basado en aprendizaje por refuerzo para entrenar una política de cuerpo completo consciente de los obstáculos que sigue comandos de posición del pie mientras evita obstáculos al mismo tiempo. Aunque la política se entrena en solo cinco escenarios estáticos distintos en simulación, mostramos que generaliza a entornos desconocidos con distintos números y tipos de obstáculos. Analizamos el rendimiento de nuestro método mediante un conjunto de experimentos en simulación y desplegamos con éxito la política aprendida en el cuadrúpedo ANYmal, demostrando su capacidad para seguir comandos del pie mientras navega alrededor de obstáculos estáticos y dinámicos.

Enlaces

• arXiv 2409.07195: https://arxiv.org/abs/2409.07195
• DOI 10.1109/Humanoids58906.2024.10769896: https://doi.org/10.1109/Humanoids58906.2024.10769896
• PDF: https://arxiv.org/pdf/2409.07195v1