SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving

Autores: Wele Gedara Chaminda Bandara, Jeya Maria Jose Valanarasu, Vishal M. Patel · ICRA 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Mapeamento de estradas a partir de imagens aéreas, sem nenhum robô envolvido: o raciocínio em grafos sobre espaços de interação espaciais e projetados, em três escalas, liga trechos de estrada ocultos e elevou a conectividade APLS em cerca de 1 ponto em dois benchmarks.

Por que importa

É a conectividade das estradas, e não apenas a acurácia por pixel, que decide se um mapa extraído pode ser usado no planejamento de rotas, e os ganhos do SPIN são maiores na métrica de conectividade. O módulo acrescenta apenas 0,03M parâmetros e pode ser inserido em uma ConvNet existente após um bloco convolucional. Uma convergência mais rápida encurta o treinamento nos grandes conjuntos de dados de alta resolução de que o mapeamento para veículos autônomos precisa.

Problema

Mapas rodoviários extraídos de imagens aéreas ajudam veículos autônomos a encontrar áreas trafegáveis e a restringir o planejamento de movimento. As estradas variam em largura, se ramificam pela imagem e muitas vezes ficam ocultas por árvores, edifícios ou nuvens, e ConvNets simples capturam mal dependências de longo alcance, o que quebra a conectividade das estradas. Transformadores capturam essas dependências, mas exigem muito processamento e treinamento longo em imagens grandes de alta resolução.

Solução proposta

O módulo SPIN constrói dois grafos a partir de um mapa de características: um sobre as posições espaciais, usando uma matriz de similaridade dependente dos dados para ligar regiões de estrada distantes, e outro em um espaço de interação projetado, usando uma matriz de similaridade aprendida para separar as estradas de edifícios, árvores e outros elementos. Suas saídas são somadas às características de entrada, e uma pirâmide SPIN aplica isso nas escalas 1, 1/2 e 1/4. A rede completa usa blocos residuais, dois módulos hourglass empilhados, um ramo de orientação das estradas e perdas SoftIoU e de orientação multiescala.

Principais ideias

O raciocínio sobre grafos no espaço espacial liga segmentos de estrada distantes, enquanto o raciocínio no espaço de interação separa as estradas de outras coberturas do solo; combinar os dois superou cada um isoladamente
Uma única convolução sobre grafos captura dependências de longo alcance que de outra forma exigiriam muitas camadas de convolução empilhadas
Executar o raciocínio sobre grafos em três escalas amplia o campo receptivo sem o custo computacional de um transformador
Os maiores ganhos foram no APLS, uma métrica de conectividade baseada em grafos, o que é coerente com a recuperação de estradas sob árvores e edifícios
Adicionar o SPIN fez o treinamento convergir mais rápido; os autores afirmam que ele aumenta a taxa de convergência em metade

Principais resultados

Massachusetts Roads: F1 84,47, IoU relaxado 73,12, IoU preciso 65,24 e APLS 72,49, os melhores entre todos os métodos comparados; o segundo melhor, Batra et al., obteve 83,97, 72,37, 64,44 e 71,34
DeepGlobe: F1 84,32, IoU relaxado 72,89 e APLS 74,14, os melhores valores comparados; o IoU preciso de 67,02 ficou ligeiramente abaixo de Batra et al. (67,21)
Ganhos de APLS sobre o segundo melhor método de +1,15 (Massachusetts) e +1,02 (DeepGlobe)
Ablação (Tabela II): apenas ConvNet 73,01 APLS, raciocínio espacial 73,59, raciocínio de interação 73,52, SPIN completo 74,14. A Tabela II rotula suas outras duas colunas como IoU_a e F1, mas a linha do modelo completo (84,32, 67,02) corresponde a F1 e IoU_a do DeepGlobe na Tabela I, de modo que esses dois rótulos parecem trocados
O módulo SPIN acrescenta 0,03M parâmetros à ConvNet

Limitações

O trabalho é de mapeamento a partir de imagens aéreas: extrai mapas rodoviários de imagens de satélite e aéreas para direção autônoma, e nenhum robô ou veículo é usado em seus experimentos.
O artigo não apresenta seção de limitações; no DeepGlobe, seu IoU preciso (67,02) foi ligeiramente inferior ao de Batra et al. (67,21)
Imagens parcialmente ocultas foram removidas do conjunto de treinamento de Massachusetts porque prejudicavam o desempenho
Os ganhos sobre a linha de base mais forte são pequenos nas métricas por pixel (0,35–0,5 ponto de F1); a principal melhoria está no APLS
A afirmação de convergência mais rápida se apoia em uma única curva de treinamento (Fig. 6), sem tempos de relógio relatados

Impacto na área

Finalista do prêmio ICRA 2022 Outstanding Automation Paper, com 43 citações. Os autores disponibilizam seu código no GitHub.

Resumo

A extração de estradas é uma etapa essencial na construção de sistemas de navegação autônoma. Detectar segmentos de estrada é difícil porque eles têm larguras variadas, se bifurcam por toda a imagem e muitas vezes ficam ocultos pelo terreno, por nuvens ou por outras condições meteorológicas. Usar apenas redes neurais convolucionais (ConvNets) para esse problema não é eficaz, pois elas são ineficientes em capturar dependências distantes entre segmentos de estrada na imagem, o que é essencial para extrair a conectividade das estradas. Para isso, propomos um módulo de raciocínio sobre grafos no espaço espacial e no espaço de interação (Spatial and Interaction Space Graph Reasoning, SPIN) que, quando inserido em uma ConvNet, realiza raciocínio sobre grafos construídos em espaços espaciais e de interação projetados a partir dos mapas de características. O raciocínio no espaço espacial extrai dependências entre diferentes regiões espaciais e outras informações contextuais. O raciocínio em um espaço de interação projetado ajuda a delinear adequadamente as estradas em relação a outras topografias presentes na imagem. Assim, o SPIN extrai dependências de longo alcance entre segmentos de estrada e delineia efetivamente as estradas em relação a outras semânticas. Também introduzimos uma pirâmide SPIN, que realiza o raciocínio sobre grafos do SPIN em múltiplas escalas para extrair características multiescala. Propomos uma rede baseada em módulos hourglass empilhados e na pirâmide SPIN para segmentação de estradas, que alcança desempenho melhor do que os métodos existentes. Além disso, nosso método é computacionalmente eficiente e acelera significativamente a convergência durante o treinamento, tornando viável aplicá-lo a imagens aéreas de alta resolução em larga escala. Código disponível em: https://github.com/wgcban/SPIN_RoadMapper.git.

Open Source Robotics