Grasp Pose Detection in Point Clouds

Autoren: Andreas ten Pas, Marcus Gualtieri, Kate Saenko, Robert Platt · IJRR 2017

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Tausende 6-DOF-Greiferposen auf jeder sichtbaren Oberfläche abtasten, jede mit einem kleinen CNN auf Mehransichts-Projektionen der lokalen Punktwolke bewerten, eine per Heuristik auswählen: 93 % Erfolg in dichter Unordnung.

Warum es wichtig ist

Die Methode benötigt zur Laufzeit weder Segmentierung noch Objektidentität noch ein CAD-Modell, was zum Greifen in offenen Umgebungen passt. Die Ablationen auf dem Roboter zeigen, wie viel jede Stufe beiträgt: Qualität der Punktwolke, Griffklassifikation und Heuristiken zur Griffauswahl verändern die Erfolgsrate jeweils um 9 bis 40 Prozentpunkte.

Problem

Klassische Greif-Pipelines registrieren ein CAD-Modell auf die Punktwolke, was bei verrauschten, unvollständigen Punktwolken schwierig ist und voraussetzt, dass für jedes Objekt ein Modell existiert. Frühere Methoden zur Griffdetektion erreichten 75–95 % Greiferfolg bei einzelnen Objekten oder leichter Unordnung, zu wenig für den praktischen Einsatz und nicht repräsentativ für reale Unordnung.

Lösungsansatz

Griffkandidaten werden auf jeder sichtbaren Oberfläche abgetastet, indem an zufälligen Punkten der Punktwolke ein lokales Darboux-Koordinatensystem aufgebaut und ein Greifermodell bis zum Kontakt nach vorn geschoben wird; behalten werden Posen, die kollisionsfrei sind und Punkte im Schließbereich enthalten. Jeder Kandidat wird als 15-Kanal-Bild (oder günstigeres 3-Kanal-Bild) aus drei Projektionen belegter Voxel, verdeckter Voxel und Oberflächennormalen kodiert und von einem vierschichtigen CNN im LeNet-Stil bewertet. Das CNN wird auf 1,5M gelabelten Beispielen trainiert, die durch Prüfung reibungsfreier antipodaler Griffe auf BigBird-Meshes erzeugt werden, die auf reale Punktwolken registriert sind.

Wichtigste Erkenntnisse

Die Griffrepräsentation ist wichtig: Der 15-Kanal-Deskriptor mit Oberflächennormalen und mehreren Ansichten übertrifft die 3-Kanal-Höhenkarte von Herzog/Kappler um mindestens 10 % Klassifikationsgenauigkeit
Vortraining auf simulierten CAD-Daten hilft anfangs (gleiche Genauigkeit nach 4000 Iterationen wie nach 20000 ohne), doch der Vorteil verblasst, und reines Training in der Simulation erreichte nur 83 % gegenüber etwa 90 % mit realen Daten
Die Kenntnis der Objektkategorie oder -instanz erhöht die Genauigkeit: etwa 97 % Klassifikationsgenauigkeit für bekannte zylindrische Instanzen gegenüber etwa 92 % ohne Vorwissen
Griffdetektion braucht eher hohe Präzision als hohe Genauigkeit, daher misst das Paper den Recall bei 99 % Präzision
Erkannte Griffe können als Objektvorschläge für einen Objektklassifikator dienen, sodass der Roboter ein namentlich angegebenes Objekt greifen kann

Hauptergebnisse

Aktive Punktwolke (Handgelenksensor mit InfiniTAM): 93 % Greiferfolg (268 von 288 Versuchen) über 30 Runden mit je 10 Objekten, 89 % der Objekte abgeräumt
Passive Punktwolke (zwei am Körper montierte Asus Xtion Pro): 84 % Erfolg (116 von 138), 77 % der Objekte abgeräumt
Ohne die Heuristiken zur Griffauswahl: 75 % Erfolg (117 von 155); ohne Griffklassifikation: 53 % Erfolg (75 von 142)
Recall bei 99 % Präzision: 89 % für die 15-Kanal-Repräsentation, 82 % für 12 Kanäle, 19 % für die Repräsentation von Herzog/Kappler
Laufzeit pro 1k Kandidaten auf einer Punktwolke mit 66k Punkten: 2,1 s mit dem 3-Kanal-Deskriptor gegenüber etwa 8 s mit 15 Kanälen
Griffe als Objektvorschläge in Unordnung: 85,4 % Klassifikationsgenauigkeit (1023 von 1197 Vorschlägen) über 9 Objekte

Einschränkungen

Ohne Segmentierung kann der Detektor einen Griff erzeugen, der zwei benachbarte Objekte als eines behandelt; dies dürfte bei Händen mit größerer Öffnungsweite zunehmen
Das Greifen eines bestimmten Objekts beruht auf einer Objektklassifikation, die im Labor nur 85 % erreichte; sie muss vor dem Einsatz in der realen Welt verbessert werden
Die Methode ist auf Zweifingerhände beschränkt (oder Hände, die sich wie eine solche verhalten), und der Vorteil der Abtastung kann bei Händen mit komplexeren Schließbereichen verschwinden
Die Griffweite des Baxter-Greifers von 3–7 cm schränkte die Testobjekte ein, und zwei Objekte mussten von Hand aufgerichtet werden, wenn sie kopfüber landeten
Trainingsdaten aus simulierten Tiefenbildern lassen sich schlecht auf reale Sensoren übertragen (83 % gegenüber etwa 90 % Genauigkeit)

Wirkung auf das Fachgebiet

722 Zitationen. Die Autoren veröffentlichen ihre Implementierung als C++-ROS-Paket (github.com/atenpas/gpd) und definieren ein Benchmark-Protokoll mit dichter Unordnung für Greifexperimente.

Zusammenfassung

In jüngerer Zeit wurde eine Reihe von Methoden zur Griffdetektion vorgeschlagen, mit denen sich robotische Griffkonfigurationen direkt aus Sensordaten lokalisieren lassen, ohne die Objektpose zu schätzen. Die zugrunde liegende Idee ist, die Griffwahrnehmung analog zur Objektdetektion in der Computer Vision zu behandeln. Diese Methoden nehmen als Eingabe ein verrauschtes und teilweise verdecktes RGBD-Bild oder eine Punktwolke und liefern als Ausgabe Posenschätzungen ausführbarer Griffe, ohne ein bekanntes CAD-Modell des Objekts vorauszusetzen. Obwohl diese Methoden Griffwissen gut auf neue Objekte verallgemeinern, wurde noch nicht gezeigt, dass sie zuverlässig genug für einen breiten Einsatz sind. Viele Methoden zur Griffdetektion erreichen Greiferfolgsraten (erfolgreiche Griffe als Anteil an der Gesamtzahl der Greifversuche) zwischen 75 % und 95 % für neue Objekte, die einzeln oder in leichter Unordnung präsentiert werden. Diese Erfolgsraten sind nicht nur zu niedrig für praktische Greifanwendungen, sondern die evaluierten Szenarien mit leichter Unordnung spiegeln oft auch nicht die Realität des Greifens in der realen Welt wider. Dieses Paper schlägt eine Reihe von Innovationen vor, die zusammen zu einer deutlichen Verbesserung der Leistung der Griffdetektion führen. Die spezifische Leistungsverbesserung durch jeden unserer Beiträge wird entweder in der Simulation oder auf Roboterhardware quantitativ gemessen. Schließlich berichten wir über eine Reihe von Roboterexperimenten mit einer durchschnittlichen End-to-End-Greiferfolgsrate von 93 % für neue Objekte in dichter Unordnung.

Open Source Robotics