Interactive Object Segmentation in 3D Point Clouds

Autoren: Theodora Kontogianni, Ekin Celikkan, Siyu Tang, Konrad Schindler · ICRA 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Nutzer klicken positive und negative Punkte direkt in einer 3D-Punktwolke an; ein nur auf ScanNet trainiertes Sparse-Voxel-Netzwerk verfeinert die Objektmaske und überträgt sich auf andere Innen- und Außendatensätze.

Warum es wichtig ist

Wahrnehmungsmodelle für Roboter benötigen gelabelte Punktwolken, und diese Methode arbeitet allein mit der Punktwolke, ohne ausgerichtete Bilder, und lässt sich jedem punkt- oder voxelbasierten 3D-Segmentierungsnetzwerk hinzufügen. Sie segmentiert auch Klassen, die im Trainingsdatensatz fehlen, und die Autoren zeigen, dass sie automatische Instanzmasken und bestehende Ground Truth mit wenigen Klicks verfeinern kann.

Problem

Dichte 3D-Labels sind teuer: Szenen enthalten Millionen von Punkten, und 3D-Labeling-Oberflächen sind langsam. Frühere interaktive 3D-Methoden nahmen Nutzerfeedback in 2D-Bildern entgegen, was ausgerichtete Bilder mit bekannten Kameraposen und einen Wechsel zwischen 2D- und 3D-Ansichten erfordert, während vollständig überwachte Instanzsegmentierung große Trainingsdatensätze benötigt, nicht auf ungesehene Klassen generalisiert und Masken liefert, die zu grob sind, um als Ground Truth zu dienen.

Lösungsansatz

Der Nutzer klickt Punkte in der 3D-Szene an; jeder Klick markiert alle Punkte innerhalb eines kleinen Würfels (Kantenlänge 5 cm, etwa 30 Punkte auf ScanNet) in einem von zwei zusätzlichen Eingangskanälen, für positive und negative Klicks. Ein Sparse-Convolution-Netzwerk auf Basis von MinkowskiEngine, initialisiert mit Gewichten für semantische Segmentierung auf ScanNetV2, gibt eine binäre Vordergrund/Hintergrund-Maske aus und wird mit zufällig simulierten Klicks feinabgestimmt; zur Testzeit klickt ein simulierter Nutzer auf das Zentrum des größten Fehlerbereichs. Eine optionale Online-Anpassung aktualisiert das Modell während des Labelns anhand der Klicks des Nutzers.

Wichtigste Erkenntnisse

Klicks als kleine Würfel zu kodieren, passt zu bestehenden 3D-Labeling-Werkzeugen, die Bounding Boxes verwenden; eine Kantenlänge von 5 cm funktionierte am besten (NOC@90 von 14,72, gegenüber 16,09 bei 10 cm).
Ein nur auf ScanNetV2 trainiertes Modell benötigte auf S3DIS weniger Klicks als auf seinem eigenen Validierungsdatensatz, während SemanticKITTI (dünn besetzt, keine Farbe, anderer Sensor) deutlich mehr benötigte.
Online-Anpassung anhand der Klicks des Nutzers sparte auf SemanticKITTI etwa 4 Klicks und half bei S3DIS-Klassen, die in ScanNet fehlen, etwa beam und board.
Simulierte Klicks waren in einer Nutzerstudie mit drei Personen repräsentativ für echte Annotatoren.
Masken mit 80 % IoU enthalten noch erhebliche fehlerhafte Bereiche, daher argumentieren die Autoren, dass das Labeln von Ground Truth etwa 90 % IoU anstreben sollte.

Hauptergebnisse

ScanNetV2-Validierung, benötigte Klicks bis 80 / 85 / 90 % IoU: 8,3 / 10,6 / 13,6 bei gesehenen Klassen und 11,7 / 14,1 / 16,5 bei ungesehenen Klassen.
AP der 3D-Instanzsegmentierung auf den Benchmark-Klassen von ScanNetV2: 61,8 mit 5 Klicks pro Objekt in Table 1 (der Text nennt 61,5) und 75,5 mit 10 Klicks, gegenüber 55,1 für klassenagnostisches HAIS und 49,4 für SSTNet.
Ungesehene ScanNetV2-Klassen: AP von 13,5 mit 1 Klick, 33,1 mit 3 Klicks und 60,3 mit 10 Klicks, gegenüber 13,8 für klassenagnostisches HAIS.
S3DIS Area 5 ohne Fine-Tuning: 6,8 / 8,9 / 11,8 Klicks bis 80 / 85 / 90 % IoU, und 6,5 / 8,6 / 11,5 mit Online-Anpassung.
SemanticKITTI: 19,4 / 19,5 / 19,6 Klicks bis 80 / 85 / 90 % IoU, reduziert auf 15,1 / 15,4 / 15,9 mit Online-Anpassung.
Nutzerstudie: Bei der schwierigen Klasse „picture“ lag die IoU nach 5 Klicks bei 49,6 für Menschen gegenüber 32,0 für den Simulator; bei zufälligen Objekten lag die IoU nach 10 Klicks bei 82,0 gegenüber 84,8.

Einschränkungen

Die Arbeit ist ein Werkzeug für 3D-Wahrnehmung: Sie segmentiert Objekte in Punktwolken mithilfe der Klicks einer Person, und in den Experimenten wird kein Roboter eingesetzt.
Als künftige Arbeit nennen die Autoren, die Eingabe mit vortrainierten semantischen und Instanz-Backbones anzureichern.
Masken aus früheren Interaktionen werden noch nicht als Eingabe für die nächste Korrektur zurückgeführt.
Das Training sampelt Klicks zufällig statt mit einer iterativen Strategie, die einen echten Nutzer nachahmt, und kein Verlust behandelt das Ungleichgewicht zwischen Vordergrund- und Hintergrundklasse.
Dünn besetzte Außenscans ohne Farbe benötigen deutlich mehr Klicks: etwa 19,5, um auf SemanticKITTI ohne Anpassung 80–90 % IoU zu erreichen.

Wirkung auf das Fachgebiet

Finalist für den ICRA 2023 Outstanding Physical Human-Robot Interaction Paper Award, mit 36 Zitierungen. Die lizenzierte Fassung verlinkt weder Code noch Daten; sie beschreibt ein für die Nutzerstudie gebautes Annotationswerkzeug, sagt aber nicht, dass es veröffentlicht ist.

Zusammenfassung

Deep Learning hängt von großen Mengen gelabelter Trainingsdaten ab. Manuelles Labeln ist teuer und stellt einen Engpass dar, insbesondere bei Aufgaben wie der Segmentierung, bei der Labels bis auf die Ebene einzelner Punkte vergeben werden müssen. Diese Herausforderung ist bei 3D-Daten noch entmutigender: 3D-Punktwolken enthalten Millionen von Punkten pro Szene, und ihre genaue Annotation ist deutlich zeitaufwendiger. Verschärft wird die Situation zusätzlich durch die höhere Komplexität von Benutzeroberflächen für 3D-Punktwolken, die die Annotation noch weiter verlangsamt. Für die 2D-Bildsegmentierung sind interaktive Techniken üblich geworden, bei denen Nutzerfeedback in Form weniger Klicks einen Segmentierungsalgorithmus – heutzutage meist ein neuronales Netz – anleitet, um mit minimalem Aufwand eine genaue Labelung zu erreichen. Überraschenderweise wurde die interaktive Segmentierung von 3D-Szenen bisher kaum erforscht. Frühere Arbeiten versuchten, genaue 3D-Segmentierungsmasken mithilfe menschlichen Feedbacks aus der 2D-Domäne zu erhalten, was nur möglich ist, wenn korrekt ausgerichtete Bilder zusammen mit der 3D-Punktwolke verfügbar sind, und ein Wechseln zwischen 2D- und 3D-Domäne erfordert. Hier stellen wir eine Methode zur interaktiven 3D-Objektsegmentierung vor, bei der der Nutzer direkt mit der 3D-Punktwolke interagiert. Wichtig ist, dass unser Modell keine Trainingsdaten aus der Zieldomäne benötigt: Auf ScanNet trainiert, erzielt es gute Ergebnisse auf mehreren anderen Datensätzen mit anderen Dateneigenschaften sowie anderen Objektklassen. Darüber hinaus ist unsere Methode orthogonal zu überwachten (Instanz-)Segmentierungsmethoden und kann mit ihnen kombiniert werden, um automatische Segmentierungen mit minimalem menschlichem Aufwand zu verfeinern.

Open Source Robotics