ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints

Autores: Dhruv Shah, Sergey Levine · RSS 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O ViKiNG combina um controlador local baseado em imagens com uma busca do tipo A* guiada por imagens de satélite ou mapas de ruas, alcançando objetivos a mais de um quilômetro depois de treinar com percursos de menos de 80 m.

Por que importa

Mostra como dados de mapas baratos e imperfeitos podem guiar a navegação de longo alcance de um robô sem construir um mapa geométrico, enquanto o controle continua robusto quando o mapa está desatualizado. Seguir calçadas e trilhas e sair de becos sem saída vêm dos dados de treinamento e da busca, não de regras escritas à mão.

Problema

Um robô enviado a um objetivo distante em um ambiente externo não visto precisa tanto raciocinar sobre a trafegabilidade local quanto conhecer a geografia mais ampla. Métodos de mapeamento geométrico não se beneficiam de dados prévios, políticas de navegação aprendidas só alcançaram distâncias curtas, e os mapas e o GPS disponíveis (com precisão de 2–5 m, 4–10× o tamanho do robô) podem estar desatualizados ou errados, então não se pode confiar neles para o controle.

Solução proposta

Um modelo de objetivo latente treinado com 42 horas de dados de condução offline recebe a imagem atual e uma imagem de subobjetivo e prevê a distância temporal, a próxima ação e o deslocamento GPS; um gargalo de informação variacional permite também amostrar subobjetivos candidatos alcançáveis. Um segundo modelo, treinado com um objetivo contrastivo em trajetórias de treinamento unidas por GPS, pontua se um subobjetivo está em um caminho até o objetivo, dada uma imagem de satélite vista de cima ou um mapa de ruas. O ViKiNG-A, uma busca física do tipo A sobre um grafo topológico construído durante a condução, usa essa pontuação apenas como heurística, enquanto cada ação de condução vem da imagem da câmera.

Principais ideias

Usar as pistas geográficas apenas como heurística de busca, com o controle a partir das imagens da câmera, manteve o robô funcionando quando o mapa estava desatualizado (um caminhão estacionado atravessando o caminho anterior) ou errado (imagens de satélite deslocadas em cerca de 5 km).
Unir trajetórias de treinamento sobrepostas em macrotrajetórias mais longas pela posição GPS permite que a heurística aprenda a pontuar objetivos muito além do comprimento de qualquer percurso de treinamento individual.
O tipo de pista muda o comportamento: o modelo treinado com mapas de ruas se manteve nas vias demarcadas, enquanto o modelo treinado com imagens de satélite cortou caminho por campos para seguir um trajeto mais curto.
Comportamentos de navegação como seguir calçadas e trilhas na floresta são herdados da parte teleoperada dos dados de treinamento; não há nenhum mecanismo separado que recompense permanecer nas trilhas.
A busca física difere da busca em grafos: o robô não pode saltar para nós arbitrários e não conhece os custos das arestas antes de percorrê-las, então o ViKiNG-A* acrescenta ao custo de cada candidato o custo de condução e um termo de novidade baseado na contagem de visitas.

Principais resultados

Busca de objetivos em 10 ambientes não vistos (Tabela I): ViKiNG 3/3 fáceis (<50 m), 4/4 médios (50–150 m) e 3/3 difíceis (150–500 m); RECON-H 3/3, 3/4, 1/3; GCG 3/3, 2/4, 0/3; clonagem de comportamento e PPO offline 2/3, 1/4, 0/3.
Antes de uma desconexão nos percursos mais difíceis (Tabela II), o deslocamento médio foi de 250,0+ m a 1,36 m/s para o ViKiNG, contra 188,3 m a 0,41 m/s para o RECON-H, 78,3 m a 1,40 m/s para o GCG, 47,2 m para o PPO offline e 19,5 m para a clonagem de comportamento.
Percursos individuais na escala de quilômetros de 1,05 km, 1,20 km e 1,55 km em ambientes de campus e de cidade não vistos, uma trilha de caminhada de 2,73 km com seis pontos de controle e 70 m de ganho de elevação (escrita como 2,7 km no texto) e um circuito de inspeção suburbano de 2,65 km sem intervenções.
O resumo indica objetivos a até 3 km e a introdução indica objetivos a mais de 2 km alcançados em menos de 25 minutos; os percursos mais longos relatados nos experimentos são de 2,73 km e 2,65 km.
Sem imagens vistas de cima (apenas heurística de distância GPS), o robô levou 17:20 e percorreu 0,73 km, contra 06:40 e 0,31 km com imagens de satélite; sem GPS nem imagens, não alcançou o objetivo em mais de 30 minutos.
A velocidade média na implantação foi de 1,36 m/s contra 1,68 m/s nos dados de treinamento, cujas trajetórias têm em média 45 m.

Limitações

O artigo não tem seção de limitações. Sua discussão cita como trabalho futuro o uso de outras fontes de pistas, como esquemas, mapas em papel ou instruções textuais, e diz que apenas imagens de satélite foram usadas, embora a Seção V-A também teste mapas de ruas esquemáticos.
O GPS é necessário: sem GPS nem imagens vistas de cima a busca se torna não informada e não alcançou o objetivo em mais de 30 minutos.
A comparação com as baselines é pequena, com uma tentativa em cada um dos 10 ambientes e objetivos de até 500 m; os percursos na escala de quilômetros e os testes com pistas desatualizadas e erradas são demonstrações únicas.
A heurística sozinha raciocina apenas na escala de trajetórias de treinamento individuais, indicada como de até 50 m na Seção III-C, enquanto o resumo e a Seção IV-B dão 80 m como a trajetória de treinamento mais longa; a pontuação de longo alcance depende de unir trajetórias por GPS.
Sob uma copa de árvores densa a imagem de satélite não traz informação útil, então o progresso ali depende apenas do modelo local baseado em imagens.

Impacto na área

Finalista do RSS 2022 Best Systems Paper Award, e citado 121 vezes. O artigo não aponta para código; a página do projeto compartilha vídeos dos experimentos, incluindo vistas em terceira pessoa dos percursos do robô.

Resumo

A navegação robótica tem sido abordada como um problema de reconstrução 3D e planejamento, bem como um problema de aprendizado de ponta a ponta. No entanto, a navegação de longo alcance exige tanto planejar e raciocinar sobre a trafegabilidade local quanto ser capaz de utilizar informações sobre a geografia global, na forma de um mapa de ruas, GPS ou outra informação auxiliar, que fornece pistas de navegação importantes, mas pode ser de baixa fidelidade ou não confiável. Neste trabalho, propomos uma abordagem baseada em aprendizado que integra aprendizado e planejamento e pode utilizar informações auxiliares, como mapas de ruas esquemáticos, mapas de satélite e coordenadas GPS, como heurística de planejamento, sem depender de que sejam precisas. Nosso método, ViKiNG, incorpora um modelo de trafegabilidade local, que observa a observação atual da câmera do robô e um subobjetivo potencial para inferir com que facilidade esse subobjetivo pode ser alcançado, bem como um modelo heurístico, que observa mapas vistos de cima e tenta estimar a distância até o destino para vários subobjetivos. Esses modelos são usados por um planejador heurístico para decidir o melhor próximo subobjetivo a fim de alcançar o destino final. Nosso método não realiza nenhuma reconstrução geométrica explícita, utilizando apenas uma representação topológica do ambiente. Apesar de nunca ter visto trajetórias com mais de 80 metros em seu conjunto de dados de treinamento, o ViKiNG consegue explorar seu controlador aprendido baseado em imagens e sua heurística orientada ao objetivo para navegar até objetivos a até 3 quilômetros de distância em ambientes nunca vistos, e exibe comportamentos complexos como sondar caminhos potenciais e voltar atrás quando eles se mostram inviáveis. O ViKiNG também é robusto a mapas e GPS não confiáveis, já que o controlador de baixo nível, em última instância, toma decisões com base em observações de imagem egocêntricas, usando os mapas apenas como heurísticas de planejamento.

Open Source Robotics