SuMa++: Efficient LiDAR-based Semantic SLAM

Autores: Xieyuanli Chen, Andres Milioto, Emanuele Palazzolo, Philippe Giguère, Jens Behley, Cyrill Stachniss · IROS 2019

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O SuMa++ acrescenta a um SLAM LiDAR baseado em surfels rótulos semânticos por ponto do RangeNet++ e os usa para remover objetos em movimento do mapa e para ponderar os resíduos do ICP.

Por que importa

O método precisa apenas de um LiDAR, sem câmera, e usa a semântica tanto para limpar o mapa quanto para tornar o registro mais robusto a outliers. No KITTI, também mostrou que remover todas as classes móveis pode fazer o SLAM divergir em cenas urbanas, um alerta concreto para quem filtra objetos dinâmicos apenas pela classe.

Problema

Um SLAM LiDAR que depende apenas da geometria pode se prender a objetos que se movem de forma consistente, o que corrompe o mapa e a estimativa de pose; rodovias com poucas estruturas estáticas e muitos carros em movimento são o caso mais difícil. Remover todas as classes potencialmente móveis é uma correção grosseira, porque também descarta carros estacionados que são características úteis para o registro de varreduras.

Solução proposta

O SuMa++ executa o RangeNet++ sobre uma projeção esférica de cada varredura para rotular cada ponto, reduz os artefatos de rótulo da retroprojeção com uma erosão seguida de um preenchimento por inundação consistente em profundidade e armazena em cada surfel um rótulo e sua probabilidade. Um surfel cujo rótulo discorda da nova observação recebe uma penalidade em seus log-odds de estabilidade e é removido após várias observações, e o ICP de quadro para modelo pondera cada resíduo por um termo de Huber, pela compatibilidade semântica dos rótulos da varredura e do mapa e pela estabilidade do surfel.

Principais ideias

Filtrar por inconsistência semântica entre a varredura e o mapa remove objetos que de fato se moveram e mantém carros estacionados, que são características úteis para o registro.
Remover todas as classes móveis (SuMa nomovable) deixou o mapa de surfels mais esparso e causou divergência em sequências urbanas do KITTI, em parte porque rótulos errados removeram surfels estáticos.
Uma erosão seguida de um preenchimento por inundação (flood-fill) consistente em profundidade reduz os erros de rótulo que surgem quando as previsões da imagem de distância 2D são projetadas de volta para pontos 3D.
Pesos semânticos no ICP reduzem o peso dos resíduos onde os rótulos da varredura e do mapa discordam, por exemplo em carros em movimento já filtrados do mapa.

Principais resultados

Sequências de estrada do KITTI 30–41 (segmentos de 5–400 m, erro de rotação em °/100 m / erro de translação em %): SuMa 1,35/6,13, SuMa nomovable 1,17/1,46, SuMa++ 1,04/1,46.
Sequência de rodovia 35: o erro de translação caiu de 26,8 % (SuMa) para 1,11 % (SuMa++); sequência 40, de 18,0 % para 1,95 %; sequência 41, de 15,6 % para 1,67 %.
Sequências de treinamento de odometria do KITTI 00–10 (segmentos de 100–800 m): SuMa++ 0,29/0,70 contra SuMa 0,36/0,83; o IMLS-SLAM relata erro de translação de 0,55 % e o LOAM, de 0,84 %.
Conjunto de teste de odometria do KITTI (avaliação no servidor): erro de translação de 1,06 % contra 1,39 % do SuMa, com erro de rotação de 0,0032 deg/m para ambos.
Tempos em um Intel Xeon W-2123 com uma Nvidia Quadro P4000: em média 75 ms por varredura para os rótulos do RangeNet++ e 48 ms para o mapeamento com surfels, até 190 ms ao integrar fechamentos de loop.

Limitações

Objetos dinâmicos não podem ser filtrados na primeira observação; com muitos objetos em movimento na primeira varredura o método falha, por isso todas as classes móveis são removidas durante um período de inicialização (limitação declarada pelos autores).
Apenas classes móveis são penalizadas; a vegetação, cuja aparência muda com o ponto de vista, é mantida de propósito.
Erros de segmentação permanecem após o preenchimento por inundação e podem remover surfels que na verdade são estáticos.
Nas sequências de estrada o SuMa++ tem desempenho próximo ao da baseline que remove todas as classes móveis, e em várias sequências (33, 36, 37, 39, 40, 41) seu erro de translação é maior que o de pelo menos uma baseline.
A avaliação usa apenas dados do KITTI, de um único sensor (Velodyne HDL-64E S2); a semântica não é usada para o fechamento de loop, o que os autores listam como trabalho futuro.

Impacto na área

Citado 584 vezes (número conforme informado). Os autores disponibilizam o código-fonte em https://github.com/PRBonn/semantic_suma/.

Resumo

Localização e mapeamento confiáveis e precisos são componentes-chave da maioria dos sistemas autônomos. Além da informação geométrica sobre o ambiente mapeado, a semântica desempenha um papel importante para permitir comportamentos de navegação inteligentes. Na maioria dos ambientes realistas, essa tarefa é particularmente complicada pela dinâmica causada por objetos em movimento, que pode corromper a etapa de mapeamento ou desviar a localização. Neste artigo, propomos uma extensão de uma abordagem de mapeamento baseada em surfels publicada recentemente, que explora varreduras laser de distância tridimensionais, integrando informação semântica para facilitar o processo de mapeamento. A informação semântica é extraída de forma eficiente por uma rede neural totalmente convolucional e renderizada sobre uma projeção esférica dos dados de distância do laser. Essa segmentação semântica calculada resulta em rótulos por ponto para toda a varredura, o que nos permite construir um mapa enriquecido semanticamente com surfels rotulados. Esse mapa semântico nos permite filtrar de forma confiável objetos em movimento, mas também melhorar o casamento projetivo de varreduras por meio de restrições semânticas. Nossa avaliação experimental em sequências desafiadoras de rodovia do conjunto de dados KITTI, com pouquíssimas estruturas estáticas e uma grande quantidade de carros em movimento, mostra a vantagem da nossa abordagem de SLAM semântico em comparação com uma abordagem de estado da arte puramente geométrica.

Open Source Robotics