kPAM 2.0: Feedback Control for Category-Level Robotic Manipulation

Autoren: Wei Gao, Russ Tedrake · ICRA 2021

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Orientierte 3D-Keypoints dienen als Zustand und Aktion eines Reglers im geschlossenen Regelkreis, sodass eine einzige Policy Peg-in-Hole-Einsetzen mit 0,2 mm, LEGO, USB und Wischen über Formvariationen hinweg bewältigt.

Warum es wichtig ist

Da sich Zustand und Aktion nur auf den aufgabenrelevanten Teil des Objekts beziehen, funktioniert derselbe Regler über Objektinstanzen, Greifposen und Anfangskonfigurationen hinweg ohne instanzweise Abstimmung. Das Rahmenwerk legt nur die Schnittstellen fest, sodass andere Wahrnehmungsmodule und modellbasierte oder gelernte Agenten eingesetzt werden können.

Problem

Manipulationspipelines im geschlossenen Regelkreis bauen die Rückkopplung meist auf einem Echtzeit-6-DOF-Posenschätzer auf, doch eine auf einer festen geometrischen Vorlage definierte Pose erfasst keine großen Formvariationen innerhalb einer Kategorie. Die ursprüngliche kPAM-Keypoint-Methode beherrscht Pick-and-Place auf Kategorieebene, setzt aber voraus, dass auf das Objekt eine beliebige starre Transformation angewendet werden kann, was bei kontaktreichen Aufgaben wie dem Peg-in-Hole-Einsetzen nicht gilt.

Lösungsansatz

Keypoints erhalten ein lokales Orientierungs-Koordinatensystem, und die Roboteraktion wird als gewünschte Linear-/Winkelgeschwindigkeit oder Kraft/Drehmoment eines orientierten Keypoints ausgedrückt und über die Keypoint-Jacobi-Matrix auf Gelenkbefehle abgebildet. Kraft-/Drehmomentmessungen werden als virtueller Sensor auf den Keypoint transformiert, Ein- und Ausgaben werden in einem nominellen Koordinatensystem neu ausgedrückt, um sie auf neue Platzierungen zu übertragen, und ein durch die orientierten Keypoints vereinfachter kPAM-Pick-and-Place-Schritt bringt das Objekt in die Startkonfiguration.

Wichtigste Erkenntnisse

Ein lokaler, aufgabenspezifischer orientierter Keypoint ignoriert irrelevante Geometrie wie den Griff, den der Roboter hält, und genau das ermöglicht die Generalisierung auf Kategorieebene.
Ist das Objekt starr und fest gegriffen, kann es als Teil des Roboters behandelt werden, sodass Standard-Regler im Gelenkraum Keypoint-Geschwindigkeits- oder Kraftbefehle auf die Gelenke abbilden.
Werden die Kraft-/Drehmomentmessungen am Handgelenk in das Keypoint-Koordinatensystem transformiert, sind sie unabhängig von Objektgeometrie und Greifpose.
Ein visueller Keypoint-Fehler von etwa 5 mm in 80 cm Entfernung übersteigt ein Spiel von 0,2 mm bei Weitem, daher ist eine Korrektur im geschlossenen Regelkreis mit Keypoints und Kraft/Drehmoment nötig; offenes Abspielen scheitert.
Die Ergänzung der kPAM-Keypoints um Orientierung macht es in vielen Fällen überflüssig, für das Pick-and-Place-Ziel eine Kosten-/Nebenbedingungsoptimierung zu lösen.

Hauptergebnisse

Fehlerraten, Methode gegenüber Open-Loop-Baseline: Whiteboard-Wischen 1/25 (4 %) vs. 16/20 (80 %); 3D-gedruckter Peg-in-Hole mit 0,2 mm Spiel 12/45 (26 %) vs. 19/20 (95 %).
LEGO-Steine 2/25 (8 %) vs. 7/20 (35 %); USB-Port 9/20 (45 %) vs. 20/20 (100 %).
Eine 6-DOF-Posen-Baseline (Keypoint-Initialisierung plus ICP auf eine Vorlage) scheiterte beim Wischen in 10/25 (40 %), beim gedruckten Peg-in-Hole in 25/45 (55 %), bei LEGO in 9/25 (36 %) und bei USB in 17/20 (85 %) der Fälle, wobei einige Durchläufe einen Sicherheitsstopp erforderten.
Beim Wischen wurde eine nominelle Normalkraft von 10 N geregelt; ein Durchlauf galt als gescheitert, wenn der vordere Keypoint des Whiteboard-Wischers mehr als 2 cm vom Whiteboard-Rand abwich oder die Kraft unter 5 N fiel.
Bei USB führt ein Fehler von etwa 3 mm an der kurzen Seite zum Scheitern; ein zweistufiges Verfahren mit der Handgelenkkamera, erst grob, dann aus der Nähe, verringerte den Wahrnehmungsfehler auf 2 mm.
Ein durch Imitation erfolgreicher Durchläufe gelernter Agent funktionierte in allen drei Peg-in-Hole-Kategorien, übertraf aber den handgeschriebenen Regler nicht, den er nahezu reproduzierte.

Einschränkungen

Spärliche Keypoints können keine Aufgaben bewältigen, die dichte Geometrie erfordern, etwa zu erkennen, dass ein Stift größer als sein Loch ist, oder kollisionsfreie Bahnplanung (laut den Autoren).
Das Objekt wird als statisch relativ zum Greifer angenommen, was die aufgebrachten Kräfte auf solche beschränkt, die innerhalb der Haftreibungskegel im Gleichgewicht sind; die am Handgelenk montierte Kamera kann kein Rutschen zwischen Greifer und Objekt erkennen (laut den Autoren).
Fehlschläge rührten von misslungenen Griffen und von Keypoint-Fehlern her, die zu groß für eine Korrektur durch die Rückkopplung waren, und der USB-Stick musste wegen seiner Greifbarkeit vorab am Greifer befestigt werden (laut den Autoren).
Aufgabenspezifische Keypoints muss der Modellierer für jede Aufgabe auswählen.
Für das Robotermodell und den detaillierten Aufbau wird auf einen Anhang verwiesen, der nicht Teil dieser arXiv-v1-Fassung ist.

Wirkung auf das Fachgebiet

Die Arbeit war Finalist für den IEEE ICRA 2021 Best Paper Award in Robot Manipulation und hat 91 Zitierungen. Das Paper gibt an, dass Videodemonstration und Quellcode verfügbar sind, und nennt als Link https://sites.google.com/view/kpam2/.

Zusammenfassung

In diesem Beitrag untersuchen wir generalisierbare robotische Manipulation von der Wahrnehmung zur Aktion für präzise, kontaktreiche Aufgaben. Insbesondere stellen wir ein Rahmenwerk für robotische Manipulation im geschlossenen Regelkreis vor, das eine Kategorie von Objekten automatisch handhabt, trotz möglicherweise ungesehener Objektinstanzen und erheblicher Variationen in Form, Größe und Erscheinung innerhalb der Kategorie. Bisherige Ansätze bauen typischerweise eine Rückkopplungsschleife auf einem Echtzeit-6-DOF-Posenschätzer auf. Die Darstellung eines Objekts durch eine parametrisierte Transformation einer festen geometrischen Vorlage erfasst jedoch keine großen Formvariationen innerhalb einer Kategorie. Daher übernehmen wir die in kPAM [13] für Pick-and-Place auf Kategorieebene vorgeschlagene Keypoint-basierte Objektrepräsentation und erweitern sie auf Manipulationspolicies im geschlossenen Regelkreis für kontaktreiche Aufgaben. Zunächst ergänzen wir Keypoints um lokale Orientierungsinformation. Mit den orientierten Keypoints schlagen wir eine neuartige objektzentrierte Aktionsrepräsentation vor, die darin besteht, die Linear-/Winkelgeschwindigkeit oder Kraft/Drehmoment dieser orientierten Keypoints zu regeln. Diese Formulierung ist überraschend vielseitig – wir zeigen, dass sie kontaktreiche Manipulationsaufgaben bewältigen kann, die Präzision und Geschicklichkeit für eine Kategorie von Objekten mit unterschiedlichen Formen, Größen und Erscheinungen erfordern, etwa das Peg-in-Hole-Einsetzen für Stifte und Löcher mit erheblicher Formvariation und engem Spiel. Mit der vorgeschlagenen Objekt- und Aktionsrepräsentation ist unser Rahmenwerk zudem unabhängig von der Greifpose des Roboters und der anfänglichen Objektkonfiguration, was es flexibel für Integration und Einsatz macht. Die Videodemonstration und der Quellcode sind unter diesem Link verfügbar.

Open Source Robotics