Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning

Autores: Xinyang Gu, Yen-Jen Wang, Xiang Zhu, Chengming Shi, Yanjiang Guo, Yichen Liu, Jianyu Chen · RSS 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O DWL treina no Isaac Gym uma política de caminhada para humanoides que aprende a reconstruir o estado completo do robô a partir de propriocepção ruidosa e depois roda sem alterações em robôs XBot reais sobre escadas, rampas e neve.

Por que importa

A mesma política, usando apenas leituras das juntas, dados da IMU, um sinal de relógio e comandos de velocidade, sem câmera nem LiDAR, foi transferida zero-shot para dois tamanhos de humanoide e lidou com escadas, rampas, blocos irregulares, neve, cargas adicionais e empurrões. Para engenheiros de robôs com pernas, é uma receita concreta para obter a estimativa de estado (velocidade da base, contato dos pés, um perfil aproximado do terreno) da mesma rede que produz as ações. Também oferece uma comparação direta mostrando que tornozelos de 2-DoF com controle ativo fizeram diferença nos terrenos mais difíceis.

Problema

Os humanoides têm centro de gravidade alto, pernas, tronco e braços pesados e uma fase de balanço da perna instável, e os autores observam que os controladores de RL anteriores para humanoides no mundo real se limitavam a terrenos relativamente simples. Uma política treinada em simulação também precisa lidar com sensores ruidosos, dinâmica simulada imperfeita e grandezas como velocidade linear e força de contato que o robô real não consegue medir.

Solução proposta

O Denoising World Model Learning (DWL) trata a lacuna sim-to-real como ruído sobre o estado real: no treinamento, ele mascara grandezas não observáveis e aplica randomização de domínio, e um codificador GRU comprime o histórico de observações em um latente de 24 dimensões a partir do qual um decodificador precisa reconstruir o estado completo, incluindo velocidade da base, atrito, contato dos pés e uma varredura da altura do terreno. O ator age sobre esse latente e é treinado com PPO, enquanto um crítico assimétrico vê o estado completo, com as perdas de remoção de ruído, de política e de valor otimizadas em conjunto. A política controla ativamente os dois graus de liberdade do tornozelo por meio de uma cadeia cinemática fechada, e uma trajetória do pé com polinômio de quinto grau fornece uma recompensa densa para um contato suave do pé.

Principais ideias

Modelar a lacuna sim-to-real como ruído ambiental, dinâmico, sensorial e de mascaramento, e treinar um codificador-decodificador para removê-lo, dá à política um estimador de estado embutido.
Apenas a partir da propriocepção, o estado latente contém informação suficiente para recuperar um perfil aproximado da altura do terreno, os contatos dos pés e a velocidade da base, e a marcha muda quando o robô passa de uma rampa para uma escada.
O controle ativo dos dois DoF do tornozelo por meio de uma cadeia cinemática fechada foi decisivo em terreno irregular e em escadas; o Isaac Gym não consegue modelar a cadeia fechada, então dois motores virtuais são simulados e seus alvos são remapeados para os motores reais.
Recompensar o rastreamento da velocidade do pé ao longo de uma trajetória de balanço planejada com um polinômio de quinto grau, em vez de depender apenas de forças de contato esparsas, dá um sinal de recompensa a cada passo e favorece pousos suaves.

Principais resultados

No XBot-S, o DWL teve 100 % de sucesso em rampa, subida de escada, descida de escada e terreno irregular; o PPO com controle do tornozelo obteve 80 %, 20 %, 60 % e 20 %, e o DWL com tornozelos passivos 80 %, 20 %, 100 % e 40 %.
O robô continuou andando com até 15 kg adicionados progressivamente a uma bolsa que carregava (mais de um terço do seu peso), andou com até 20 kg de carga extra e empurrou um carrinho carregado com 60 kg.
Em um teste sim-to-sim no MuJoCo, o MSE da estimativa da velocidade para frente ao longo de 60 s foi de 0,046 e o MSE da estimativa da guinada de Euler foi de 0,074; no robô real, a deriva da IMU foi reduzida em cerca de 87 %.
Uma única política, rodando a 100 Hz com uma malha PD de 500 Hz, foi transferida zero-shot para o XBot-S (1,2 m, 38 kg) e o XBot-L (1,65 m, 57 kg), incluindo caminhadas ao ar livre sobre cimento, tijolo, terra e neve.
O ator do DWL tem cerca de 320.192 parâmetros treináveis e foi treinado com 12.288 ambientes simulados em paralelo.

Limitações

A política não usa entrada visual; os autores deixam para trabalhos futuros a adição de informação visual para navegação em terrenos desafiadores.
Os autores afirmam que a predição precisa da forma do terreno a partir da propriocepção continua difícil; apenas um perfil aproximado é recuperado.
Os estados reais não podem ser medidos no robô real, então a precisão da estimativa de velocidade e de guinada foi verificada em uma transferência sim-to-sim no MuJoCo, e não em hardware.
As comparações de referência foram feitas apenas no XBot-S com os braços parados, e o artigo não informa em quantos ensaios cada taxa de sucesso se baseia.
Apenas controle das pernas: os motores dos braços foram mantidos parados durante todo o estudo.

Impacto na área

Finalista do RSS 2024 Outstanding Paper Award e citado 152 vezes. O artigo publica no apêndice sua arquitetura de rede completa, os termos de recompensa, as faixas de randomização de domínio e os hiperparâmetros. Não informa a disponibilização de código, modelo ou projeto de hardware.

Resumo

Os robôs humanoides, com sua estrutura esquelética semelhante à humana, são especialmente adequados para tarefas em ambientes centrados no ser humano. No entanto, essa estrutura traz desafios adicionais no projeto do controlador de locomoção, especialmente em ambientes reais complexos. Como resultado, os robôs humanoides existentes se limitam a terrenos relativamente simples, seja com controle baseado em modelo, seja com aprendizado por reforço sem modelo. Neste trabalho, apresentamos o Denoising World Model Learning (DWL), um framework de aprendizado por reforço de ponta a ponta para o controle de locomoção de humanoides, que demonstra o primeiro robô humanoide do mundo a dominar terrenos reais desafiadores, como solo nevado e inclinado ao ar livre, subida e descida de escadas e terrenos extremamente irregulares. Todos os cenários executam a mesma rede neural aprendida com transferência sim-to-real zero-shot, o que indica a robustez e a capacidade de generalização superiores do método proposto.

Open Source Robotics