Interactive Object Segmentation in 3D Point Clouds

Autori: Theodora Kontogianni, Ekin Celikkan, Siyu Tang, Konrad Schindler · ICRA 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Gli utenti cliccano punti positivi e negativi direttamente in una nuvola di punti 3D; una rete a voxel sparsi addestrata solo su ScanNet raffina la maschera dell'oggetto e si trasferisce ad altri dataset di ambienti interni ed esterni.

Perché è importante

I modelli di percezione dei robot hanno bisogno di nuvole di punti etichettate, e questo metodo lavora sulla sola nuvola di punti, senza immagini allineate, e può essere aggiunto a qualsiasi rete di segmentazione 3D basata su punti o su voxel. Segmenta anche classi assenti dal suo set di addestramento, e gli autori mostrano che può raffinare maschere di istanze automatiche e ground truth esistente con pochi clic.

Problema

Le etichette 3D dense sono costose: le scene contengono milioni di punti e le interfacce di etichettatura 3D sono lente. I precedenti metodi interattivi 3D raccoglievano il feedback dell'utente su immagini 2D, il che richiede immagini allineate con pose della telecamera note e il passaggio tra viste 2D e 3D, mentre la segmentazione di istanze completamente supervisionata richiede grandi set di addestramento, non generalizza a classi mai viste e produce maschere troppo grossolane per servire da ground truth.

Soluzione proposta

L'utente clicca punti nella scena 3D; ogni clic marca tutti i punti all'interno di un piccolo cubo (spigolo di 5 cm, circa 30 punti su ScanNet) in uno di due canali di ingresso aggiuntivi, per clic positivi e negativi. Una rete a convoluzione sparsa MinkowskiEngine, inizializzata dai pesi di segmentazione semantica di ScanNetV2, produce una maschera binaria primo piano/sfondo e viene sottoposta a fine-tuning con clic simulati casualmente; in fase di test un utente simulato clicca il centro della regione di errore più grande. Un adattamento online facoltativo aggiorna il modello a partire dai clic dell'utente durante l'etichettatura.

Idee chiave

• Codificare i clic come piccoli cubi si adatta agli strumenti di etichettatura 3D esistenti che usano bounding box; uno spigolo di 5 cm ha funzionato meglio (NOC@90 di 14,72, contro 16,09 con 10 cm).
• Un modello addestrato solo su ScanNetV2 ha richiesto meno clic su S3DIS che sul proprio set di validazione, mentre SemanticKITTI (sparso, senza colore, sensore diverso) ne ha richiesti molti di più.
• L'adattamento online a partire dai clic dell'utente ha risparmiato circa 4 clic su SemanticKITTI e ha aiutato con classi di S3DIS assenti in ScanNet, come trave e pannello.
• In uno studio con tre utenti, i clic simulati sono risultati rappresentativi di annotatori reali.
• Le maschere all'80 % di IoU contengono ancora regioni errate significative, quindi gli autori sostengono che l'etichettatura di ground truth dovrebbe puntare a circa il 90 % di IoU.

Risultati principali

• Validazione di ScanNetV2, clic necessari per raggiungere l'80 / 85 / 90 % di IoU: 8,3 / 10,6 / 13,6 sulle classi viste e 11,7 / 14,1 / 16,5 sulle classi mai viste.
• AP di segmentazione di istanze 3D sulle classi del benchmark ScanNetV2: 61,8 con 5 clic per oggetto nella Tabella 1 (il testo riporta 61,5) e 75,5 con 10 clic, contro 55,1 di HAIS agnostico rispetto alla classe e 49,4 di SSTNet.
• Classi di ScanNetV2 mai viste: AP di 13,5 con 1 clic, 33,1 con 3 clic e 60,3 con 10 clic, contro 13,8 di HAIS agnostico rispetto alla classe.
• S3DIS Area 5 senza fine-tuning: 6,8 / 8,9 / 11,8 clic per l'80 / 85 / 90 % di IoU, e 6,5 / 8,6 / 11,5 con adattamento online.
• SemanticKITTI: 19,4 / 19,5 / 19,6 clic per l'80 / 85 / 90 % di IoU, ridotti a 15,1 / 15,4 / 15,9 con adattamento online.
• Studio con utenti: sulla difficile classe «picture», la IoU dopo 5 clic era 49,6 per gli esseri umani contro 32,0 per il simulatore; su oggetti casuali, la IoU dopo 10 clic era 82,0 contro 84,8.

Limiti

• Il lavoro è uno strumento di percezione 3D: segmenta oggetti in nuvole di punti con i clic di una persona, e nei suoi esperimenti non viene usato alcun robot.
• Gli autori indicano come lavoro futuro l'arricchimento dell'input con backbone semantici e di istanze pre-addestrati.
• Le maschere delle interazioni precedenti non vengono ancora reimmesse come input per la correzione successiva.
• L'addestramento campiona i clic a caso invece che con una strategia iterativa che emuli un utente reale, e nessuna loss gestisce lo squilibrio tra le classi primo piano e sfondo.
• Le scansioni esterne sparse e senza colore richiedono molti più clic: circa 19,5 per raggiungere l'80–90 % di IoU su SemanticKITTI senza adattamento.

Impatto sul settore

Finalista dell'ICRA 2023 Outstanding Physical Human-Robot Interaction Paper award, con 36 citazioni. La copia con licenza non rimanda a codice o dati; descrive uno strumento di annotazione costruito per lo studio con utenti, ma non dice che sia stato rilasciato.

Abstract

Il deep learning dipende da grandi quantità di dati di addestramento etichettati. L'etichettatura manuale è costosa e rappresenta un collo di bottiglia, soprattutto per compiti come la segmentazione, in cui le etichette devono essere assegnate fino al livello dei singoli punti. Questa sfida è ancora più ardua per i dati 3D: le nuvole di punti 3D contengono milioni di punti per scena, e la loro annotazione accurata richiede molto più tempo. La situazione è ulteriormente aggravata dalla maggiore complessità delle interfacce utente per le nuvole di punti 3D, che rallenta ancora di più l'annotazione. Per la segmentazione di immagini 2D sono diventate comuni le tecniche interattive, in cui il feedback dell'utente sotto forma di pochi clic guida un algoritmo di segmentazione – oggi solitamente una rete neurale – per ottenere un'etichettatura accurata con uno sforzo minimo. Sorprendentemente, la segmentazione interattiva di scene 3D è stata poco esplorata. Lavori precedenti hanno cercato di ottenere maschere di segmentazione 3D accurate usando feedback umano dal dominio 2D, cosa possibile solo se insieme alla nuvola di punti 3D sono disponibili immagini correttamente allineate, e che comporta il passaggio tra il dominio 2D e quello 3D. Qui presentiamo un metodo di segmentazione interattiva di oggetti 3D in cui l'utente interagisce direttamente con la nuvola di punti 3D. Va sottolineato che il nostro modello non richiede dati di addestramento del dominio di destinazione: addestrato su ScanNet, funziona bene su diversi altri dataset con caratteristiche dei dati diverse e con classi di oggetti diverse. Inoltre, il nostro metodo è ortogonale ai metodi di segmentazione (di istanze) supervisionata e può essere combinato con essi per raffinare segmentazioni automatiche con uno sforzo umano minimo.

Link

• arXiv 2204.07183: https://arxiv.org/abs/2204.07183
• DOI 10.1109/ICRA48891.2023.10160904: https://doi.org/10.1109/ICRA48891.2023.10160904
• PDF: https://arxiv.org/pdf/2204.07183v1