Deep Drone Racing: Learning Agile Flight in Dynamic Environments

Autores: Elia Kaufmann, Antonio Loquercio, René Ranftl, Alexey Dosovitskiy, Vladlen Koltun, Davide Scaramuzza · CoRL 2018

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Uma CNN mapeia uma imagem da câmera de bordo para uma direção-alvo e uma velocidade; um planejador de mínimo jerk e um controlador clássico pilotam o quadrirrotor, que assim percorre pistas com portões em movimento sem mapa nem pose global.

Por que importa

A estabilidade fica com um controlador clássico enquanto a rede cuida apenas da percepção, de modo que a parte aprendida pode rodar a cerca de 10 Hz em um computador de bordo pequeno. Como os comandos são dados no referencial do corpo, o sistema não sofre com o drift que afeta os baselines de odometria visual-inercial em alta velocidade.

Problema

Um drone de corrida que segue uma trajetória global pré-calculada precisa de estimação de estado altamente precisa, e a localização do tipo SLAM sofre drift sob borrão de movimento e alta aceleração. Esses métodos também pressupõem um mundo estático, de modo que os waypoints não podem ser fixados com antecedência quando os portões se movem.

Solução proposta

Uma CNN baseada em ResNet recebe uma imagem RGB de 300 × 200 e produz uma direção-alvo em coordenadas de imagem normalizadas mais uma velocidade normalizada. O alvo é retroprojetado para um ponto 3D, uma trajetória de interceptação de estado de mínimo jerk é calculada para alcançá-lo, e um controlador de baixo nível existente a segue, recalculada em horizonte deslizante. A rede é treinada imitando um especialista que segue uma trajetória global de mínimo snap, com dados de vários layouts de portões para lidar com portões que se movem no momento do teste.

Principais ideias

Prever um waypoint e uma velocidade, em vez de taxas angulares do corpo, permite que um controlador clássico mantenha o quadrirrotor estável; um regressor de taxas angulares de ponta a ponta não conseguiu passar por mais de um portão em simulação
Treinar com vários layouts estáticos de portões bastou para que a política voasse através de portões que se movem durante o voo
A política aprendida não fica limitada por suas demonstrações: ela lida com portões em movimento, o que o especialista que ela imita não consegue
Dados de treinamento no mundo real podem ser coletados com segurança carregando o quadrirrotor à mão pela pista enquanto o especialista rotula cada imagem
Uma única rede treinada cobre uma faixa de agressividade, já que o usuário escala a velocidade prevista por uma velocidade máxima escolhida

Principais resultados

Simulação, pista de 8 portões e 116 m: o método completa a tarefa de forma confiável até uma velocidade máxima de 9 m/s, degradando gradualmente em velocidades mais altas; o baseline VIO falha pelo drift acumulado. A seção 4.2 informa cinco execuções por configuração, enquanto a legenda da Figura 4 informa 10 execuções por velocidade
Simulação com portões em movimento a 8 m/s: nenhuma colisão com movimento do portão de até 1,5 vez o seu diâmetro, enquanto o baseline VIO falha mesmo com pequenos movimentos do portão
Teste real de passagem estreita: a rede passou pelo portão em 100 %, 80 % e 20 % das execuções a partir de ângulos iniciais de 0–30°, 30–70° e 70–90° (portão invisível no início na última faixa), contra 70 %, 0 % e 0 % de um detector de janelas feito à mão
Teste real de oclusão: a abordagem foi robusta a oclusões de até 50 % da área do portão, enquanto o baseline feito à mão falhou com oclusão moderada
Pista real de 4 portões e 21 m: maior taxa de sucesso e velocidade que um baseline de planejamento e rastreamento baseado em VIO; pilotos humanos profissionais e intermediários foram mais rápidos, mas colidiram com mais frequência
Comparação em simulação: o baseline de taxas angulares de ponta a ponta nunca passou por mais de um portão em uma pista de 4 portões e 43 m, mesmo com 35k amostras de treinamento contra 5k do método proposto

Limitações

O desempenho se degradará se a aparência do ambiente mudar substancialmente além do que foi visto no treinamento
Treinar o sistema de percepção requer uma quantidade significativa de dados coletados no ambiente de aplicação
Onde a otimização de trajetória não consegue fornecer uma política a imitar, por exemplo em curvas extremamente fechadas, o aprendiz provavelmente também falhará
Acima de 9 m/s em simulação, a taxa de predição limitada (30 Hz) não acompanha as grandes taxas de rolagem e arfagem
Pilotos humanos completaram a pista real mais rápido, com manobras mais ágeis em curvas fechadas sobre as quais o sistema ainda não consegue raciocinar

Impacto na área

Vencedor do CoRL 2018 Best Systems Paper Award, com 166 citações. O artigo traz o link de um vídeo suplementar; não disponibiliza código nem dados.

Resumo

O voo ágil autônomo traz desafios fundamentais em robótica, como lidar com estimação de estado pouco confiável, reagir de forma ótima a ambientes que mudam dinamicamente e acoplar percepção e ação em tempo real sob severas restrições de recursos. Neste artigo, consideramos esses desafios no contexto de corridas de drones autônomas baseadas em visão em ambientes dinâmicos. Nossa abordagem combina uma rede neural convolucional (CNN) com um sistema de planejamento de caminho e controle do estado da arte. A CNN mapeia diretamente imagens brutas para uma representação robusta na forma de um waypoint e uma velocidade desejada. Essa informação é então usada pelo planejador para gerar um segmento curto de trajetória de mínimo jerk e os comandos de motor correspondentes para alcançar o objetivo desejado. Demonstramos nosso método em cenários de voo ágil autônomo, nos quais um quadrirrotor baseado em visão percorre pistas de corrida de drones com portões possivelmente em movimento. Nosso método não requer nenhum mapa explícito do ambiente e roda totalmente a bordo. Testamos extensivamente a precisão e a robustez da abordagem em simulação e no mundo físico. Também avaliamos nosso método em comparação com abordagens de navegação do estado da arte e com pilotos humanos profissionais de drones.

Open Source Robotics