H2-Mapping: Real-Time Dense Mapping Using Hierarchical Hybrid Representation

Autores: Chenxing Jiang, Hanwen Zhang, Peize Liu, Zehuan Yu, Hui Cheng, Boyu Zhou, Shaojie Shen · RA-L 2023

Licenças

• Acesso aberto
• Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um SDF grosseiro armazenado em uma octree mais um resíduo codificado em hash permitem que o mapeamento RGB-D no estilo NeRF rode embarcado em placas Jetson Orin, em um equipamento portátil e em um quadricóptero.

Por que importa

Um robô com apenas um computador da classe Jetson consegue construir um mapa denso texturizado enquanto se move, em vez de reconstruí-lo offline depois. Como o método recebe as poses de qualquer rastreador externo, ele pode ficar atrás de uma pilha de odometria visual-inercial existente, como os autores mostram com um VINS-Mono modificado e uma RealSense L515.

Problema

Mapeadores baseados em NeRF, como NICE-SLAM e Vox-Fusion, geram mapas compactos e podem renderizar novos pontos de vista, mas suas características implícitas demoram muito para ser otimizadas, então não conseguem rodar em tempo real nem mesmo em um AGX Orin. Mapas explícitos (grades de ocupação, TSDF, surfels, malhas) são rápidos, mas precisam de muita memória para detalhes finos e não conseguem renderizar novas vistas realistas.

Solução proposta

A geometria grosseira é armazenada explicitamente como valores de SDF nos vértices de uma octree esparsa de voxels (voxels folha de 10 cm), inicializados projetando cada vértice na imagem de profundidade; uma codificação hash multirresolução com MLPs pequenos aprende apenas o SDF residual e a cor. Os voxels são expandidos quando há pontos sobre uma aresta de voxel, para que superfícies não se percam, os quadros-chave são escolhidos para cobrir o maior número possível de voxels ainda não otimizados, e a otimização para antecipadamente quando a perda deixa de melhorar.

Principais ideias

• Projetar os vértices dos voxels em uma única imagem de profundidade já gera um SDF grosseiro utilizável, então a geometria fica quase correta desde as primeiras iterações
• Deixar a codificação hash aprender apenas o SDF residual é mais fácil do que aprender o SDF completo e melhora tanto a precisão quanto a qualidade de renderização para o mesmo número de iterações
• Alocar um voxel extra quando todos os pontos retroprojetados ficam sobre uma aresta de voxel evita buracos onde um valor de SDF próximo de zero troca de sinal durante a otimização
• Selecionar quadros-chave para cobrir o maior número de voxels não otimizados e reiniciar quando todos estiverem cobertos melhora regiões pouco vistas, como tetos, sem adicionar amostras de treinamento

Principais resultados

• Replica (8 cenas, poses de referência): Depth L1 médio de 0,42 cm contra 0,71 cm do Vox-Fusion e 1,16 cm do NICE-SLAM; taxa de completude (<5 cm) de 99,25 % contra 98,55 % e 97,09 %
• Renderização no Replica: PSNR médio de 34,49 dB nas vistas de treinamento e de 30,21 dB em vistas novas distantes, contra 31,48 / 27,34 dB do Vox-Fusion e 30,55 / 28,08 dB do NICE-SLAM
• Tempo médio de processamento por quadro no Replica Room0: 0,05 s em uma RTX 4090, 0,36 s no AGX Orin e 0,66 s no Orin NX, contra 0,34 / 1,68 / 3,52 s do Vox-Fusion e 2,69 / 13,01 / 19,03 s do NICE-SLAM
• Ablação (Tabela III): remover a estratégia de quadros-chave reduz o PSNR de 34,49 para 33,65 dB e piora a precisão de 1,12 para 1,28 cm; remover a expansão de voxels reduz a taxa de completude de 99,25 % para 98,52 %
• Execuções reais totalmente embarcadas: um apartamento com cerca de 127 m² de superfície de malha mapeado com um equipamento portátil com AGX Orin, e parte de uma arena de voo de cerca de 58 m² mapeada com um quadricóptero levando um Orin NX

Limitações

• Os autores afirmam que o método não consegue lidar com objetos dinâmicos
• Os autores afirmam que ele não consegue lidar com a deriva de pose de longo prazo
• Os autores afirmam que ainda é necessário mais ganho de velocidade
• É apenas um módulo de mapeamento: as poses precisam vir de um rastreador separado, e as comparações de benchmark usam poses de referência reais para todos os métodos
• Os resultados no ScanNet são apenas qualitativos, porque não há malhas de referência disponíveis para esse conjunto de dados

Impacto na área

Recebeu o RA-L 2024 Best Paper Award e tem 58 citações. O artigo afirma que o código será liberado em github.com/SYSU-STAR/H2-Mapping.

Resumo

Construir um mapa denso de alta qualidade em tempo real é essencial para aplicações de robótica, AR/VR e gêmeos digitais. Como o campo de radiância neural (Neural Radiance Field, NeRF) melhora muito o desempenho do mapeamento, neste artigo propomos um método de mapeamento baseado em NeRF que permite reconstrução de maior qualidade e capacidade de tempo real mesmo em computadores de borda. Especificamente, propomos uma nova representação híbrida hierárquica que utiliza codificação hash multirresolução implícita auxiliada por priors explícitos de SDF em octree, descrevendo a cena em diferentes níveis de detalhe. Essa representação permite uma inicialização rápida da geometria da cena e torna essa geometria mais fácil de aprender. Além disso, apresentamos uma estratégia de seleção de quadros-chave que maximiza a cobertura para tratar o problema do esquecimento e melhorar a qualidade do mapeamento, especialmente em áreas marginais. Até onde sabemos, nosso método é o primeiro a obter mapeamento baseado em NeRF de alta qualidade em tempo real em computadores de borda de dispositivos portáteis e quadricópteros. Os experimentos demonstram que nosso método supera os métodos de mapeamento baseados em NeRF existentes em precisão geométrica, realismo de textura e consumo de tempo. O código será liberado em: https://github.com/SYSU-STAR/H2-Mapping

Links

• arXiv 2306.03207: https://arxiv.org/abs/2306.03207
• DOI 10.1109/LRA.2023.3313051: https://doi.org/10.1109/LRA.2023.3313051
• PDF: https://arxiv.org/pdf/2306.03207v1
• Código: https://github.com/SYSU-STAR/H2-Mapping