Legged Locomotion in Challenging Terrains using Egocentric Vision

Autores: Ananye Agarwal, Ashish Kumar, Jitendra Malik, Deepak Pathak · CoRL 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

RL sobre amostras baratas do terreno, seguido de destilação para profundidade, dá a um quadrúpede A1 uma política de profundidade para ângulos de junta que sobe escadas e meios-fios e atravessa vãos e pedras de passagem.

Por que importa

A política implantada usa uma câmera de profundidade e não precisa de mapa de elevação, localização nem MPC, então roda na placa UP e na Jetson NX embarcadas no robô. Marchas como uma grande abdução do quadril em escadas surgem do treinamento, o que permite que um robô com altura de quadril de 28 cm suba degraus próximos da sua própria altura.

Problema

A locomoção com pernas baseada em visão costuma ser dividida em mapeamento de elevação e planejamento de apoios, e os mapas de elevação precisam de várias imagens de profundidade fundidas com estimativas de pose vindas da odometria. A deriva de pose e o ruído dos sensores tornam esses mapas pouco confiáveis em vãos e pedras de passagem, e as câmeras, lidars e o processamento extras não estão disponíveis em um robô pequeno e de baixo custo. Um robô pequeno também não pode depender de priors de marcha predefinidos para passar por obstáculos próximos da sua própria altura.

Solução proposta

A fase 1 treina uma política em simulação com PPO usando scandots (alturas do terreno amostradas em pontos fixos sob o robô) e informação privilegiada, com recompensas baseadas em energia e sem priors de marcha. A fase 2 a destila com DAgger em uma política recorrente, seja uma GRU monolítica ou estimadores no estilo RMA que alimentam a política base congelada, que mapeia a profundidade egocêntrica e a propriocepção diretamente para ângulos de junta alvo a 50 Hz e usa memória para inferir o terreno sob as patas traseiras.

Principais ideias

Renderizar profundidade deixa a simulação uma ordem de grandeza mais lenta; rodar RL sobre scandots baratos e depois destilar para profundidade com aprendizado supervisionado permite treinar todo o sistema em uma única GPU em poucos dias.
Uma política recorrente pode lembrar o terreno visto antes pela câmera frontal para posicionar as patas traseiras, substituindo um mapa de elevação explícito.
Sem priors de marcha, comportamentos adequados a um robô pequeno, como uma grande abdução do quadril para passar pelas bordas dos degraus, surgem de recompensas que minimizam energia.
Se os scandots e o campo de visão da câmera forem escolhidos de modo que a perda de imitação da fase 2 continue baixa, o retorno da política da fase 2 é comprovadamente próximo do ótimo (Teorema 2.1).
Pipelines baseados em mapas de elevação precisam de muito ruído de treinamento para lidar com a deriva de pose; em simulação, essa baseline 'ruidosa' (noisy) mal se move sobre as pedras de passagem.

Principais resultados

Mundo real: 100 % de sucesso subindo e descendo escadas (17 cm de altura, 30 cm de profundidade, 13 degraus), 100 % em vãos de 26 cm e 94 % em pedras de passagem (30 cm de largura, 15 cm de distância entre elas); a baseline cega (blind) tem 0 % ao subir escadas, em vãos e em pedras de passagem.
Totais em simulação: deslocamento médio para a frente de 134,18 m (RMA) e 135,85 m (monolítica) contra 73,05 m (ruidosa) e 84,79 m (cega); tempo médio até a queda de 278,45 s e 275,01 s contra 147,83 s e 175,06 s.
Pedras de passagem simuladas: as políticas RMA e monolítica percorrem 18,83 m e 20,72 m, enquanto as baselines ruidosa e cega percorrem 1,09 m e 1,02 m.
Em rampas simuladas, as políticas com visão vão mais longe que as baselines: até 27 % segundo o texto de Resultados, até 25 % segundo a legenda da Tabela 1.
Altura dos degraus em testes urbanos: até 24 cm de altura (28 cm de largura mínima) segundo a seção Urban Environments, e até 25 cm, 89 % da altura do quadril, segundo a Introdução; meios-fios de até 26 cm.
A baseline cega completa a descida de escadas todas as vezes, mas com uma marcha de queda de alto impacto que soltou o quadril traseiro direito do robô durante os testes.

Limitações

Ainda ocorrem falhas quando a visão ou o terreno diferem entre a simulação e o mundo real; a única correção nessa abordagem é recriar o caso em simulação e treinar de novo, o que os autores chamam de limitação fundamental.
O robô apenas se desloca pelo ambiente e não interage com ele; acrescentar um braço é trabalho futuro.
Como o terreno sob o corpo vem da memória visual, o robô às vezes erra um degrau nas escadas (e se recupera), e ao ar livre às vezes fica preso em fendas.
As comparações no mundo real usaram políticas de fase 2 separadas: a câmera frontal embutida para as escadas e uma câmera superior montada externamente para os vãos e as pedras de passagem.
No hardware, o método é comparado apenas com a baseline cega; a baseline com mapa de elevação (ruidosa) é testada apenas em simulação.

Impacto na área

Vencedor do prêmio de melhor artigo de sistemas do CoRL 2022 (Best Systems Paper Award), com 373 citações. O artigo publica vídeos na página do projeto; não informa liberação de código.

Resumo

Os animais são capazes de locomoção precisa e ágil usando a visão. Replicar essa capacidade é um objetivo antigo da robótica. A abordagem tradicional tem sido decompor esse problema em fases de mapeamento de elevação e de planejamento de apoios. O mapeamento de elevação, porém, é suscetível a falhas e a grandes artefatos de ruído, exige hardware especializado e é biologicamente implausível. Neste artigo, apresentamos o primeiro sistema de locomoção ponta a ponta capaz de atravessar escadas, meios-fios, pedras de passagem e vãos. Mostramos esse resultado em um robô quadrúpede de porte médio usando uma única câmera de profundidade voltada para a frente. O tamanho pequeno do robô exige descobrir padrões de marcha especializados não vistos em outros lugares. A câmera egocêntrica exige que a política se lembre de informações passadas para estimar o terreno sob as patas traseiras. Treinamos nossa política em simulação. O treinamento tem duas fases: primeiro, treinamos uma política usando aprendizado por reforço com uma variante da imagem de profundidade barata de calcular e, depois, na fase 2, a destilamos na política final, que usa profundidade, por meio de aprendizado supervisionado. A política resultante é transferida para o mundo real e consegue rodar em tempo real com o processamento limitado do robô. Ela consegue atravessar uma grande variedade de terrenos sendo robusta a perturbações como empurrões, superfícies escorregadias e terreno rochoso. Os vídeos estão em https://vision-locomotion.github.io

Open Source Robotics