Learning Vision-Based Bipedal Locomotion for Challenging Terrain

Autores: Helei Duan, Bikram Pandit, Mohitvishnu S. Gadde, Bart van Marum, Jeremy Dao, Chanho Kim, Alan Fern · ICRA 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Uma política de RL treinada em simulação mais um preditor de profundidade para mapa de alturas permitem que o bípede Cassie atravesse blocos, escadas e um degrau de 0,5 m sem odometria global nem ajuste fino no mundo real.

Por que importa

Todo o sistema roda embarcado e não estima a pose global, o que elimina uma fonte comum de falhas em robôs com pernas, que batem no chão com força e com frequência. Os autores o apresentam como a primeira demonstração sim-to-real de locomoção bípede baseada em visão sobre terreno desafiador, e documentam quais escolhas de treinamento foram necessárias para que a transferência funcionasse.

Problema

Os controladores de RL para bípedes têm sido em sua maioria cegos, baseados apenas em propriocepção, e por isso não conseguem antecipar o terreno e tendem a usar marchas agressivas com trajetórias de balanço altas. Pipelines perceptivos baseados em modelos dividem o problema em controle de corpo inteiro, planejamento de pisadas, odometria e mapeamento do terreno, e mapas construídos em um referencial global derivam com o erro de estimação de pose causado por contatos frequentes e movimento agressivo.

Solução proposta

Uma política de locomoção é treinada com PPO no MuJoCo sobre um mapa de alturas de 1,5 m por 1 m com resolução de 5 cm, expresso em relação à base flutuante do robô; ela combina uma política cega LSTM pré-treinada com um modulador baseado em visão que também ajusta a frequência da marcha e as defasagens de fase de cada perna. Um preditor de mapa de alturas separado (um estágio LSTM seguido de um estágio de refinamento U-Net) é treinado com 30.000 episódios simulados para mapear um histórico de imagens de profundidade egocêntricas e de estados do robô para esse mapa de alturas. A aleatorização de domínio da dinâmica, da eficiência de torque, dos atrasos, do ruído do mapa de alturas e do ruído das imagens de profundidade leva as duas redes ao robô real.

Principais ideias

Expressar o mapa de alturas no referencial local do robô permite que a política reaja ao terreno sem mapeamento global nem odometria; no hardware, a política ainda posicionou corretamente os pés em balanço sobre terreno que a câmera já não via, o que os autores interpretam como a política mantendo uma odometria interna.
A mistura de terrenos amostrados (principalmente blocos, cristas e escadas) moldou uma marcha robusta e não agressiva com mais eficácia do que acrescentar termos heurísticos de recompensa: as escadas regulam o comprimento do passo e as cristas, a altura do passo.
Sem uma penalidade por colisão dos pés, a política atingiu sucesso semelhante em simulação, mas usava as colisões como realimentação, por exemplo deslizando um pé por uma face vertical; os tropeços frequentes resultantes impediram a transferência sim-to-real.
Aleatorizar a eficiência de torque foi particularmente importante para o degrau de 0,5 m, em que o motor do joelho satura.
Um relógio de marcha aprendido e um crítico com entradas privilegiadas (posições globais dos pés, mapas de alturas ao redor de cada pé, telêmetros na ponta dos pés) aumentaram, ambos, o sucesso nos terrenos difíceis em simulação.

Principais resultados

No hardware, o Cassie atravessou blocos altos isolados, escadas, blocos aleatórios e um degrau de 0,5 m (cerca de 60 % do comprimento da perna) a velocidades de até 1 m/s, e manteve a velocidade e o rumo em uma esteira enquanto uma pessoa colocava blocos sobre ela.
Erro de reconstrução do mapa de alturas em simulação (MAE): LSTM 2,806 cm, transformador 4,221 cm, MLP 4,932 cm, LSTM sem estados do robô 4,448 cm.
Em simulação em malha fechada, todos os preditores de mapa de alturas deram taxas de sucesso semelhantes, mas o preditor LSTM produziu o menor número de episódios com colisão dos pés e de terminações causadas por colisão.
No robô, o fluxo de profundidade rodou a 90 FPS, a inferência do mapa de alturas sozinha rodou a 200 Hz na Jetson Orin Nano, e o atraso de ponta a ponta entre o preditor e a política foi medido em até 20 ms.
Em ablações em simulação (1000 episódios por modo de terreno), as políticas sem o relógio aprendido ou sem o crítico privilegiado tiveram sucesso acentuadamente menor em terreno difícil, e a política cega teve o pior desempenho.

Limitações

Como só é usada uma câmera voltada para a frente, os comandos de velocidade em terreno de cristas, escadas e blocos excluem andar para trás e de lado.
A câmera egocêntrica não consegue ver o chão sob o robô, então o terreno sob os pés precisa ser tratado com base no que a política já viu.
Os resultados em hardware são mostrados de forma qualitativa (blocos de madeira do laboratório, escadas, uma esteira e o vídeo da submissão); o artigo não apresenta taxas de sucesso no mundo real.
Os terrenos de treinamento e avaliação se limitam a cinco tipos gerados proceduralmente: plano, colinas, blocos, cristas e escadas.
A penalidade por colisão dos pés atua apenas como restrição suave, que a política pode violar para evitar uma queda.

Impacto na área

Finalista do IEEE ICRA 2024 Best Paper Award in Cognitive Robotics, com 98 citações. O artigo não traz link para código, dados ou projetos de hardware publicados.

Resumo

O aprendizado por reforço (RL) para locomoção bípede demonstrou recentemente marchas robustas sobre terrenos moderados usando apenas sensoriamento proprioceptivo. No entanto, esses controladores cegos falharão em ambientes nos quais os robôs precisam antecipar o terreno local e se adaptar a ele, o que requer percepção visual. Neste artigo, propomos um sistema totalmente aprendido que permite que robôs bípedes reajam ao terreno local mantendo a velocidade e a direção de deslocamento comandadas. Nossa abordagem primeiro treina um controlador em simulação usando um mapa de alturas expresso no referencial local do robô. Em seguida, dados são coletados em simulação para treinar um preditor de mapa de alturas, cuja entrada é o histórico de imagens de profundidade e de estados do robô. Demonstramos que, com aleatorização de domínio adequada, essa abordagem permite uma transferência da simulação para o mundo real (sim-to-real) bem-sucedida, sem estimação explícita de pose e sem ajuste fino com dados do mundo real. Até onde sabemos, este é o primeiro exemplo de aprendizado sim-to-real para locomoção bípede baseada em visão sobre terrenos desafiadores.

Open Source Robotics