Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning

Autores: Xinyang Gu, Yen-Jen Wang, Xiang Zhu, Chengming Shi, Yanjiang Guo, Yichen Liu, Jianyu Chen · RSS 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

DWL entrena en Isaac Gym una política de marcha para humanoides que aprende a reconstruir el estado completo del robot a partir de propiocepción ruidosa, y después funciona sin cambios en robots XBot reales sobre escaleras, pendientes y nieve.

Por qué importa

La misma política, usando solo lecturas de las articulaciones, datos de la IMU, una señal de reloj y comandos de velocidad, sin cámara ni LiDAR, se transfirió zero-shot a dos tamaños de humanoide y superó escaleras, pendientes, bloques irregulares, nieve, cargas añadidas y empujones. Para los ingenieros de robots con patas, es una receta concreta para obtener la estimación del estado (velocidad de la base, contacto de los pies, un perfil aproximado del terreno) de la misma red que produce las acciones. También ofrece una comparación directa que muestra que los tobillos de 2-DoF con control activo fueron importantes en los terrenos más difíciles.

Problema

Los humanoides tienen un centro de gravedad alto, piernas, torso y brazos pesados y una fase de balanceo de la pierna inestable, y los autores señalan que los controladores de RL anteriores para humanoides en el mundo real se limitaban a terrenos relativamente sencillos. Una política entrenada en simulación también debe lidiar con sensores ruidosos, una dinámica simulada imperfecta y magnitudes como la velocidad lineal y la fuerza de contacto que el robot real no puede medir.

Solución propuesta

Denoising World Model Learning (DWL) trata la brecha sim-to-real como ruido sobre el estado real: en el entrenamiento enmascara las magnitudes no observables y aplica aleatorización del dominio, y un codificador GRU comprime el historial de observaciones en un latente de 24 dimensiones a partir del cual un decodificador debe reconstruir el estado completo, incluidos la velocidad de la base, la fricción, el contacto de los pies y un escaneo de la altura del terreno. El actor actúa sobre ese latente y se entrena con PPO mientras un crítico asimétrico ve el estado completo, y las pérdidas de eliminación de ruido, de política y de valor se optimizan conjuntamente. La política controla activamente los dos grados de libertad del tobillo a través de una cadena cinemática cerrada, y una trayectoria del pie con un polinomio de quinto grado da una recompensa densa para un contacto suave del pie.

Ideas clave

• Modelar la brecha sim-to-real como ruido ambiental, dinámico, sensorial y de enmascaramiento, y entrenar un codificador-decodificador para eliminarlo, da a la política un estimador de estado integrado.
• Solo a partir de la propiocepción, el estado latente contiene información suficiente para recuperar un perfil aproximado de la altura del terreno, los contactos de los pies y la velocidad de la base, y la marcha cambia cuando el robot pasa de una pendiente a unas escaleras.
• El control activo de los dos DoF del tobillo a través de una cadena cinemática cerrada fue decisivo en terreno irregular y en escaleras; Isaac Gym no puede modelar la cadena cerrada, así que se simulan dos motores virtuales y sus consignas se reasignan a los motores reales.
• Recompensar el seguimiento de la velocidad del pie a lo largo de una trayectoria de balanceo planificada con un polinomio de quinto grado, en lugar de depender solo de fuerzas de contacto escasas, da una señal de recompensa en cada paso y favorece apoyos suaves.

Resultados principales

• En XBot-S, DWL tuvo un 100 % de éxito en pendiente, subida de escaleras, bajada de escaleras y terreno irregular; PPO con control del tobillo obtuvo un 80 %, 20 %, 60 % y 20 %, y DWL con tobillos pasivos un 80 %, 20 %, 100 % y 40 %.
• El robot siguió caminando con hasta 15 kg añadidos de forma progresiva a una bolsa que llevaba (más de un tercio de su peso), caminó con hasta 20 kg de carga adicional y empujó un carro cargado con 60 kg.
• En una prueba sim-to-sim en MuJoCo, el MSE de la estimación de la velocidad hacia delante durante 60 s fue de 0,046 y el MSE de la estimación de la guiñada de Euler fue de 0,074; en el robot real, la deriva de la IMU se redujo en torno a un 87 %.
• Una sola política, funcionando a 100 Hz con un lazo PD de 500 Hz, se transfirió zero-shot a XBot-S (1,2 m, 38 kg) y XBot-L (1,65 m, 57 kg), incluidos paseos en exteriores sobre cemento, ladrillo, tierra y nieve.
• El actor de DWL tiene unos 320.192 parámetros entrenables y se entrenó con 12.288 entornos simulados en paralelo.

Limitaciones

• La política no usa entrada visual; los autores dejan para trabajos futuros añadir información visual para la navegación en terrenos difíciles.
• Los autores afirman que predecir con precisión la forma del terreno a partir de la propiocepción sigue siendo difícil; solo se recupera un perfil aproximado.
• Los estados reales no pueden medirse en el robot real, por lo que la precisión de la estimación de la velocidad y de la guiñada se comprobó en una transferencia sim-to-sim en MuJoCo y no en hardware.
• Las comparaciones de referencia solo se realizaron en XBot-S con los brazos inmóviles, y el artículo no indica en cuántos ensayos se basa cada tasa de éxito.
• Solo control de las piernas: los motores de los brazos se mantuvieron inmóviles durante todo el estudio.

Impacto en el campo

Finalista del RSS 2024 Outstanding Paper Award y citado 152 veces. El artículo publica en el apéndice su arquitectura de red completa, los términos de la recompensa, los rangos de aleatorización del dominio y los hiperparámetros. No indica que se publique código, modelo ni diseño de hardware.

Resumen

Los robots humanoides, con su estructura esquelética similar a la humana, son especialmente adecuados para tareas en entornos centrados en las personas. Sin embargo, esta estructura conlleva retos adicionales en el diseño del controlador de locomoción, sobre todo en entornos reales complejos. Como resultado, los robots humanoides existentes se limitan a terrenos relativamente sencillos, ya sea con control basado en modelos o con aprendizaje por refuerzo sin modelo. En este trabajo presentamos Denoising World Model Learning (DWL), un marco de aprendizaje por refuerzo de extremo a extremo para el control de la locomoción de humanoides, que demuestra el primer robot humanoide del mundo en dominar terrenos reales difíciles, como suelo nevado e inclinado en exteriores, subir y bajar escaleras y terrenos extremadamente irregulares. Todos los escenarios ejecutan la misma red neuronal aprendida con transferencia sim-to-real zero-shot, lo que indica la robustez y la capacidad de generalización superiores del método propuesto.

Enlaces

• arXiv 2408.14472: https://arxiv.org/abs/2408.14472
• DOI 10.15607/rss.2024.xx.058: https://doi.org/10.15607/rss.2024.xx.058
• PDF: https://arxiv.org/pdf/2408.14472v1