NGEL-SLAM: Neural Implicit Representation-based Global Consistent Low-Latency SLAM System

Autores: Yunxuan Mao, Xuan Yu, Kai Wang, Yue Wang, Rong Xiong, Yiyi Liao · ICRA 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

O NGEL-SLAM combina o rastreamento e o fechamento de loop do ORB-SLAM3 com múltiplos submapas neurais baseados em octree, de modo que o mapa denso é realinhado rapidamente após o fechamento de loop, em vez de retreinado.

Por que importa

Robôs que constroem mapas densos de grandes áreas internas precisam que esses mapas permaneçam consistentes após o fechamento de loop e incorporem novos quadros-chave rapidamente. Manter o rastreamento em um sistema baseado em features e dividir o mapa neural em submapas ancorados garante as duas coisas sem retreinar o mapa inteiro.

Problema

Sistemas de SLAM implícito neural como iMAP e NICE-SLAM fornecem geometria densa, mas rastreiam pelo mapa neural, que não tem fechamento de loop e perde consistência global em cenas grandes. Substituir o rastreador por um tradicional não resolve isso, porque retreinar um mapa único da cena após as atualizações de pose do fechamento de loop é lento, e a convergência lenta da rede de mapeamento também impede um mapeamento de baixa latência.

Solução proposta

O ORB-SLAM3 cuida do rastreamento, do bundle adjustment local e do fechamento de loop, enquanto a cena é armazenada como vários submapas implícitos neurais locais, cada um ancorado a um quadro-chave. Após o bundle adjustment global, os submapas são primeiro movidos junto com as poses de suas âncoras em tempo real e depois passam por ajuste fino; cada submapa armazena features multinível em uma octree esparsa com pequenos decodificadores MLP de ocupação e cor, para convergência rápida. As imagens são renderizadas escolhendo, por pixel, o submapa com a menor incerteza de variância de ocupação.

Principais ideias

Representar a cena como submapas ancorados permite aplicar as correções do fechamento de loop atualizando as poses dos submapas, o que elimina a maior parte do erro do mapa sem retreinamento; o ajuste fino depois remove os pequenos erros restantes.
O rastreamento baseado em features com fechamento de loop (ORB-SLAM3) foi mais preciso no TUM RGB-D do que o rastreamento pelo mapa neural.
Uma octree esparsa só cresce onde o espaço está ocupado, então economiza memória em comparação com grades densas de voxels, mantendo convergência rápida; mapear apenas os quadros-chave reduz ainda mais os quadros de mapeamento e a E/S de dados.
A variância de ocupação renderizada se correlaciona positivamente com o erro de profundidade e negativamente com o PSNR, por isso funciona como critério para escolher qual submapa renderiza cada pixel.

Principais resultados

Replica (8 cenas), renderização com poses estimadas: profundidade L1 0,65 cm, PSNR 30,44, SSIM 0,876, LPIPS 0,151, contra 2,28 cm, 29,25, 0,855 e 0,190 do ESLAM; com poses de ground truth: 1,28 cm, 29,53, 0,864 e 0,156 contra 2,81 cm, 27,33, 0,836 e 0,204 do ESLAM.
Rastreamento no TUM RGB-D (ATE RMSE): 1,5 cm em fr1/desk, 0,5 cm em fr2/xyz e 1,0 cm em fr3/office, contra 2,5, 1,1 e 2,4 cm do ESLAM.
Rastreamento no ScanNet (6 cenas): ATE RMSE médio de 7,44 cm contra 7,50 cm do ESLAM, 9,63 cm do NICE-SLAM e 36,67 cm do iMAP; menor erro em 3 das 6 cenas.
Tempo de mapeamento por iteração: 14 ms contra 19 ms (ESLAM), 130 ms (NICE-SLAM) e 448 ms (iMAP), usando 120 quadros de mapeamento em vez de 400; a legenda da Fig. 1 descreve isso como rodar 10x mais rápido que o NICE-SLAM.
Memória: 5,32 MB contra 6,79 MB (ESLAM), 12,02 MB (NICE-SLAM) e 1,04 MB (iMAP).
O ajuste fino do mapa melhorou a profundidade L1 no Replica de 1,34 para 1,28 cm e o PSNR de 28,39 para 29,53.

Limitações

A conclusão restringe o sistema a cenas internas, e ele exige um fluxo de entrada RGB-D.
A avaliação usa apenas conjuntos de dados gravados (Replica, ScanNet, TUM RGB-D e a sequência do apartamento do NICE-SLAM); nenhuma implantação em robô ou com sensor ao vivo é relatada.
No ScanNet ele não tem o menor erro em três das seis cenas (0106, 0181, 0207), e sua margem média sobre o ESLAM é de 0,06 cm.
O iMAP usa menos memória (1,04 MB vs 5,32 MB) porque armazena a cena em um único MLP.
A segunda etapa do tratamento do fechamento de loop, o ajuste fino dos submapas, roda abaixo do tempo real.

Impacto na área

Vencedor do IEEE ICRA 2024 Best Paper Award in Robot Vision, com 40 citações. O artigo não fornece link para código nem para o projeto.

Resumo

As representações implícitas neurais surgiram como uma solução promissora para fornecer geometria densa em Localização e Mapeamento Simultâneos (SLAM). No entanto, os métodos existentes nessa linha deixam a desejar em consistência global e baixa latência. Este artigo apresenta o NGEL-SLAM para enfrentar esses desafios. Para garantir a consistência global, nosso sistema aproveita um módulo tradicional de rastreamento baseado em features que incorpora fechamento de loop. Além disso, mantemos um mapa globalmente consistente representando a cena por meio de múltiplos campos implícitos neurais, o que permite um ajuste rápido ao fechamento de loop. Ademais, nosso sistema permite convergência rápida graças ao uso de representações implícitas baseadas em octree. A combinação de resposta rápida ao fechamento de loop e convergência rápida torna nosso sistema um sistema verdadeiramente de baixa latência que alcança consistência global. Nosso sistema permite renderizar imagens RGB-D de alta fidelidade, além de extrair superfícies densas e completas. Experimentos em conjuntos de dados sintéticos e do mundo real sugerem que nosso sistema alcança precisão de rastreamento e de mapeamento de estado da arte, mantendo baixa latência.

Open Source Robotics