FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects

Autoren: Ben Eisner, Harry Zhang, David Held · RSS 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein Netz sagt vorher, wie sich jeder Punkt eines artikulierten Objekts bewegen würde; der Roboter greift den Punkt mit der größten Bewegung und folgt ihm und erreicht so 64 % Erfolg in der realen Welt ohne reale Trainingsdaten.

Warum es wichtig ist

Die Repräsentation benötigt kein Wissen über den kinematischen Baum des Objekts, sodass ein einziges, nur auf simulierten Punktwolken trainiertes Modell Objekte aus nie gesehenen Kategorien öffnete und ohne Feinabstimmung auf einen realen Sawyer-Arm übertragen wurde. Für Praktiker trennt sie die Wahrnehmung (wo und wie sich Teile bewegen) von einer einfachen analytischen Regelungsregel, wodurch die Policy im geschlossenen Regelkreis bleibt und leicht nachvollziehbar ist.

Problem

Roboter im Haushalt müssen Türen, Schubladen, Deckel und ähnliche artikulierte Objekte öffnen, deren Geometrie und Kinematik innerhalb von Kategorien und zwischen ihnen stark variieren. Methoden, die Artikulationsparameter wie Gelenkachsen schätzen, stützen sich meist auf klassenspezifisches Wissen über die Struktur des Objekts und lassen sich daher nicht auf neue Kategorien anwenden.

Lösungsansatz

Die Autoren definieren 3D Articulation Flow: für jeden Punkt einer Punktwolke die normierte Richtung, in die er sich bewegen würde, wenn sein Teil ein wenig geöffnet würde. ArtFlowNet, ein auf PointNet++ basierendes Netz, das mit überwachtem Lernen auf simulierten PartNet-Mobility-Objekten trainiert wurde, sagt diesen Fluss aus einer einzigen Punktwolke vorher. FlowBot3D greift dann mit einem Sauggreifer den Punkt mit dem größten vorhergesagten Fluss (unter Anwendung von Kanten- und Krümmungsfiltern), sagt den Fluss wiederholt neu vorher und bewegt den Greifer entlang des größten sichtbaren Flussvektors nahe dem Kontakt, bis das Teil geöffnet ist.

Wichtigste Erkenntnisse

Bei einem Schubgelenk ist die beste Zugrichtung an jedem Punkt entlang der Gelenkachse; bei einem Drehgelenk ist sie tangential am Punkt mit dem größten Abstand zur Achse, sodass der Punkt mit dem größten Artikulationsfluss der ideale Griffpunkt ist.
Der punktweise Fluss ist hierarchiefrei und auf die Einheitskugel beschränkt, daher invariant gegenüber Translation und Skalierung, und kann ohne klassenspezifische kinematische Modelle gelernt werden.
Behavior-Cloning- und DAgger-Policies schnitten selbst dann schlecht ab, wenn sie den Ground-Truth-Fluss als Eingabe erhielten, während die analytische, dem Fluss folgende Policy gut abschnitt.
In der Simulation gerenderte Punktwolken weisen nur eine geringe Domänenlücke zu realen Tiefendaten auf, was die Autoren als Grund für den direkten Sim-to-Real-Transfer ansehen; Blickwinkel-Augmentierung im Training half beim Transfer, änderte in der Simulation aber wenig.

Hauptergebnisse

Simulation (ManiSkill mit PartNet-Mobility, Erfolg = über 90 % des Bewegungsbereichs): FlowBot3D erreicht eine mittlere Erfolgsrate von 0,77 bei ungesehenen Instanzen der Trainingskategorien und 0,69 bei 10 ungesehenen Kategorien; ein Orakel mit Ground-Truth-Fluss erreichte 0,92 und 0,82.
Die beste Behavior-Cloning-Baseline (DAgger Oracle + F) erreichte 0,33 Erfolg bei den Trainingskategorien und 0,16 bei ungesehenen; die Baseline im Stil von UMPNet erreichte 0,52 und 0,45.
Mittlerer normierter Abstand zum geöffneten Zustand: 0,12 (Trainingskategorien) und 0,15 (ungesehene Kategorien) für FlowBot3D gegenüber 0,29 und 0,36 für die Baseline im Stil von UMPNet.
Reale Welt, 14 Haushaltsobjekte und 70 Versuche mit einem Sawyer-Arm: 45/70 (64,3 %) Gesamterfolg, 64/70 (91,4 %) Kontakterfolg und 45/64 (70,3 %) Bewegungserfolg nach dem Kontakt.
Die reale DAgger-Baseline mit derselben Kontaktauswahl war in 10 von 70 Versuchen (14,3 %) erfolgreich, mit einem mittleren Abstand von 0,73 gegenüber 0,22 für FlowBot3D.

Einschränkungen

Die meisten Fehlschläge in der realen Welt gingen auf Fehler der Flussvorhersage zurück, oft wenn der Roboter einen großen Teil der Szene verdeckte oder eine Artikulation nicht erkannte (etwa beim realen Backofen), sowie auf fehlgeschlagene Saugkontakte an Punkten, an denen sich keine Abdichtung bilden konnte.
Die Autoren geben an, dass ein nachgiebigerer Armregler und ein stärkeres Modul zur Vorhersage der Kontaktqualität nötig sind, um viele Fehlerarten zu beseitigen; die Online-Korrektur falscher Vorhersagen bleibt künftiger Arbeit überlassen.
Die Methode deckt Objekte mit Dreh- oder Schubgelenken mit 1-DoF und fester Basis ab; Kugelgelenke, frei schwebende Objekte und verformbare Objekte sind ausgeschlossen.
Ein realer Sauggreifer kann an Kanten, Griffen oder Stellen hoher Krümmung nicht abdichten, daher werden Griffpunkte mit von Hand abgestimmten Heuristiken für Kanten, Krümmung und Abstand gewählt statt am idealen Punkt maximalen Flusses.
Reale Testobjekte mussten in den Arbeitsraum passen, eine saugfreundliche Oberfläche bieten und durften für die Tiefenkamera nicht zu dunkel oder spiegelnd sein.

Wirkung auf das Fachgebiet

Die Arbeit war Finalistin für den RSS 2022 Best Paper Award und hat 168 Zitationen. Die Autoren veröffentlichen Code, Daten und Zusatzmaterial über die Projektwebsite.

Zusammenfassung

Wir untersuchen eine neuartige Methode zur Wahrnehmung und Manipulation artikulierter 3D-Objekte, die so generalisiert, dass ein Roboter ungesehene Objektklassen artikulieren kann. Wir schlagen ein visionsbasiertes System vor, das lernt, die möglichen Bewegungen der Teile verschiedenster artikulierter Objekte vorherzusagen, um die nachgelagerte Bewegungsplanung des Systems zum Artikulieren der Objekte anzuleiten. Um die Objektbewegungen vorherzusagen, trainieren wir ein neuronales Netz, das ein dichtes Vektorfeld ausgibt, welches die punktweise Bewegungsrichtung der Punkte in der Punktwolke bei Artikulation darstellt. Anschließend setzen wir einen analytischen Bewegungsplaner auf Basis dieses Vektorfelds ein, um eine Policy zu erhalten, die maximale Artikulation erzielt. Wir trainieren das Visionssystem vollständig in der Simulation und zeigen die Fähigkeit unseres Systems, sowohl in der Simulation als auch in der realen Welt auf ungesehene Objektinstanzen und neue Kategorien zu generalisieren, wobei wir unsere Policy ohne Feinabstimmung auf einem Sawyer-Roboter einsetzen. Die Ergebnisse zeigen, dass unser System sowohl in simulierten als auch in realen Experimenten State-of-the-Art-Leistung erreicht.

Open Source Robotics