SuMa++: Efficient LiDAR-based Semantic SLAM

Autori: Xieyuanli Chen, Andres Milioto, Emanuele Palazzolo, Philippe Giguère, Jens Behley, Cyrill Stachniss · IROS 2019

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

SuMa++ aggiunge a uno SLAM LiDAR basato su surfel etichette semantiche per punto di RangeNet++ e le usa per rimuovere dalla mappa gli oggetti in movimento e per pesare i residui dell'ICP.

Perché è importante

Il metodo richiede solo un LiDAR, senza telecamera, e usa la semantica sia per ripulire la mappa sia per rendere la registrazione più robusta agli outlier. Su KITTI ha anche mostrato che rimuovere tutte le classi mobili può far divergere lo SLAM nelle scene urbane, un avvertimento concreto per chi filtra gli oggetti dinamici solo in base alla classe.

Problema

Uno SLAM LiDAR basato solo sulla geometria può agganciarsi a oggetti che si muovono in modo coerente, corrompendo la mappa e la stima della posa; le autostrade con poche strutture statiche e molte auto in movimento sono il caso più difficile. Rimuovere ogni classe potenzialmente mobile è una soluzione grossolana, perché scarta anche le auto parcheggiate, che sono feature utili per la registrazione delle scansioni.

Soluzione proposta

SuMa++ esegue RangeNet++ su una proiezione sferica di ogni scansione per etichettare ogni punto, riduce gli artefatti di etichetta della retroproiezione con un'erosione seguita da un riempimento per inondazione coerente in profondità e memorizza in ogni surfel un'etichetta e la sua probabilità. Un surfel la cui etichetta non concorda con la nuova osservazione riceve una penalità nei suoi log-odds di stabilità e viene rimosso dopo diverse osservazioni, e l'ICP frame-to-model pesa ogni residuo con un termine di Huber, la compatibilità semantica tra etichette della scansione e della mappa e la stabilità del surfel.

Idee chiave

• Filtrare in base all'incoerenza semantica tra scansione e mappa rimuove gli oggetti che si sono effettivamente mossi e conserva le auto parcheggiate, che sono feature utili per la registrazione.
• Rimuovere tutte le classi mobili (SuMa nomovable) ha reso la mappa di surfel più sparsa e ha causato divergenza nelle sequenze urbane di KITTI, in parte perché etichette errate hanno rimosso surfel statici.
• Un'erosione seguita da un riempimento per inondazione (flood-fill) coerente in profondità riduce gli errori di etichetta che nascono quando le predizioni dell'immagine di distanza 2D vengono riproiettate sui punti 3D.
• I pesi semantici nell'ICP riducono il peso dei residui dove le etichette della scansione e della mappa non concordano, per esempio sulle auto in movimento già filtrate dalla mappa.

Risultati principali

• Sequenze stradali KITTI 30–41 (segmenti di 5–400 m, errore di rotazione in °/100 m / errore di traslazione in %): SuMa 1,35/6,13, SuMa nomovable 1,17/1,46, SuMa++ 1,04/1,46.
• Sequenza autostradale 35: l'errore di traslazione è sceso dal 26,8 % (SuMa) all'1,11 % (SuMa++); sequenza 40 dal 18,0 % all'1,95 %; sequenza 41 dal 15,6 % all'1,67 %.
• Sequenze di addestramento di odometria KITTI 00–10 (segmenti di 100–800 m): SuMa++ 0,29/0,70 contro SuMa 0,36/0,83; IMLS-SLAM riporta un errore di traslazione dello 0,55 % e LOAM dello 0,84 %.
• Set di test di odometria KITTI (valutazione lato server): errore di traslazione dell'1,06 % contro l'1,39 % di SuMa, con errore di rotazione di 0,0032 deg/m per entrambi.
• Tempi su un Intel Xeon W-2123 con una Nvidia Quadro P4000: in media 75 ms per scansione per le etichette di RangeNet++ e 48 ms per la mappatura a surfel, fino a 190 ms quando si integrano le chiusure del loop.

Limiti

• Gli oggetti dinamici non possono essere filtrati alla prima osservazione; con molti oggetti in movimento nella prima scansione il metodo fallisce, quindi tutte le classi mobili vengono rimosse durante un periodo di inizializzazione (limitazione dichiarata dagli autori).
• Vengono penalizzate solo le classi mobili; la vegetazione, il cui aspetto cambia con il punto di vista, viene mantenuta di proposito.
• Dopo il riempimento per inondazione restano errori di segmentazione, che possono rimuovere surfel in realtà statici.
• Sulle sequenze stradali SuMa++ ha prestazioni vicine alla baseline che rimuove tutte le classi mobili, e in diverse sequenze (33, 36, 37, 39, 40, 41) il suo errore di traslazione è più alto di quello di almeno una baseline.
• La valutazione usa solo dati KITTI, da un unico sensore (Velodyne HDL-64E S2); la semantica non viene usata per la chiusura del loop, che gli autori indicano come lavoro futuro.

Impatto sul settore

Citato 584 volte (dato come riportato). Gli autori rilasciano il codice sorgente su https://github.com/PRBonn/semantic_suma/.

Abstract

Una localizzazione e una mappatura affidabili e accurate sono componenti chiave della maggior parte dei sistemi autonomi. Oltre all'informazione geometrica sull'ambiente mappato, la semantica svolge un ruolo importante per abilitare comportamenti di navigazione intelligenti. Nella maggior parte degli ambienti realistici questo compito è particolarmente complicato dalla dinamica causata dagli oggetti in movimento, che può corrompere la fase di mappatura o far deragliare la localizzazione. In questo articolo proponiamo un'estensione di un approccio di mappatura basato su surfel pubblicato di recente, che sfrutta scansioni laser di distanza tridimensionali, integrando informazione semantica per facilitare il processo di mappatura. L'informazione semantica viene estratta in modo efficiente da una rete neurale completamente convoluzionale e resa su una proiezione sferica dei dati di distanza laser. Questa segmentazione semantica calcolata produce etichette per punto per l'intera scansione, permettendoci di costruire una mappa arricchita semanticamente con surfel etichettati. Questa mappa semantica ci consente di filtrare in modo affidabile gli oggetti in movimento, ma anche di migliorare l'allineamento proiettivo delle scansioni tramite vincoli semantici. La nostra valutazione sperimentale su impegnative sequenze autostradali del dataset KITTI, con pochissime strutture statiche e una grande quantità di auto in movimento, mostra il vantaggio del nostro approccio di SLAM semantico rispetto a un approccio dello stato dell'arte puramente geometrico.

Link

• arXiv 2105.11320: https://arxiv.org/abs/2105.11320
• DOI 10.1109/IROS40897.2019.8967704: https://doi.org/10.1109/IROS40897.2019.8967704
• PDF: https://arxiv.org/pdf/2105.11320v1
• Codice: https://github.com/PRBonn/semantic_suma/