Global Planning for Contact-Rich Manipulation via Local Smoothing of Quasi-dynamic Contact Models

Autoren: Tao Pang, H. J. Terry Suh, Lujie Yang, Russ Tedrake · T-RO 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Das Glätten der Kontaktdynamik, durch Sampling wie bei RL oder analytisch mit einer logarithmischen Barriere, liefert nützliche Gradienten; mit einem konvexen quasi-dynamischen Modell plant RRT dann geschickte Manipulationsaufgaben in etwa einer Minute.

Warum es wichtig ist

Die Methode bietet eine online arbeitende, modellbasierte Alternative zum Training von Reinforcement-Learning-Policies für kontaktreiche Aufgaben: Pläne für In-Hand-Rotation, das Ablegen eines Stifts, das Aufnehmen eines Tellers an einer Wand und das Öffnen einer Tür entstehen in der Größenordnung einer Minute auf einer CPU. Die Autoren stellen dem RL-Werkzeuge gegenüber, die auf Offline-Berechnungen von Stunden oder Tagen angewiesen sind, und beschreiben ihren Planer als verallgemeinerbar hinsichtlich Umgebungen und Aufgaben.

Problem

Modellbasierte Planung durch Kontakt steht vor drei Hindernissen: Die Zahl der Kontaktmodi explodiert (bei 3D-In-Hand-Manipulation können es Billionen sein), die Kontaktdynamik ist steif und nicht glatt, sodass Gradienten explodieren oder springen, und das Planungsproblem ist nichtkonvex. Reinforcement Learning bewältigt kontaktreiche Manipulation durch Sampling und Mittelung über Kontaktmodi, ist aber auf Offline-Berechnungen angewiesen, die in Stunden oder Tagen gemessen werden. Bestehende samplingbasierte Planer für Kontakt zählen Kontaktmodi explizit auf oder sampeln sie und skalieren schlecht mit der Anzahl der Kontakte.

Lösungsansatz

Die Autoren zeigen zunächst, dass randomisierte Glättung (Sampling und Mittelung, wie bei RL) und analytische Glättung lokale lineare Modelle desselben glatten Ersatzmodells berechnen, für einfache Systeme äquivalent. Anschließend bauen sie CQDC, ein konvexes, quasi-dynamisches, differenzierbares Kontaktmodell, das als Kegelprogramm zweiter Ordnung mit der Reibungsrelaxation nach Anitescu formuliert ist, dessen Gradienten aus den KKT-Bedingungen stammen und das mit einer Log-Barrier-Relaxation analytisch geglättet wird. Schließlich führen sie RRT mit einer lokalen Mahalanobis-Distanzmetrik und einem Erweiterungsschritt aus, die aus den geglätteten Linearisierungen gebildet werden, fügen einen Kontakt-Sampling-Schritt hinzu, der den Roboter erneut in Kontakt platziert, und verfeinern den resultierenden Pfad mit iterativer MPC und Shortcutting.

Wichtigste Erkenntnisse

Randomisierte Glättung (wie sie RL verwendet) und analytische Glättung sind zwei Wege, lokale lineare Modelle derselben geglätteten Dynamik zu berechnen; für einfache Systeme sind sie äquivalent, und bei den komplexen Beispielen schnitten sie ähnlich ab.
Analytische Glättung über eine Log-Barrier-Relaxation benötigt nur eine Lösung pro Linearisierung und lief daher schneller als randomisierte Glättung, die über 100 Samples mittelt.
Das quasi-dynamische Modell lässt Geschwindigkeiten und transiente Dynamik weg, halbiert damit den Zustand und erlaubt viel größere Zeitschritte, sodass jede Linearisierung dem Planer mehr über das Langzeitverhalten verrät.
Eine lokale Mahalanobis-Metrik, die aus geglätteten Linearisierungen gebildet wird, lässt RRT die Kontakterreichbarkeit berücksichtigen; eine von Hand abgestimmte, global einheitlich gewichtete euklidische Metrik schnitt deutlich schlechter ab.
Kontakt-Sampling war für Aufgaben unerlässlich, bei denen der Roboter neu positioniert werden muss (planares Schieben, planare Hand, Allegro-In-Hand-Rotation), nicht aber für das Aufnehmen des Tellers oder das Ablegen des Stifts.

Hauptergebnisse

Iterative MPC, minimale Kosten über 10 Iterationen und 5 Versuche: Allegro-In-Hand-Rotation 5,78 mit analytischer Glättung gegenüber 44,68 mit exakten (ungeglätteten) Gradienten; planares Schieben 11,74 gegenüber 31,64.
Bei der Aufgabe mit der planaren Hand, die nur wenige Wechsel des Kontaktmodus durchläuft, schnitten auch exakte Gradienten gut ab (Kosten 18,49 gegenüber 26,55 analytisch und 17,87 randomisiert erster Ordnung).
Mit 100 Samples auf 32 Threads war randomisierte Glättung in der iterativen MPC 2- bis 3-mal langsamer als analytische Glättung (Allegro-Rotation: 40,07 s gegenüber 19,59 s).
RRT über 1000 Iterationen mit analytischer Glättung benötigte 3,25 s (planares Schieben), 31,01 s (Allegro-Rotation), 24,84 s (Ablegen des Stifts), 12,42 s (Öffnen der Tür) und 117,16 s (Aufnehmen des Tellers); randomisierte Glättung erster Ordnung benötigte 7,50 s bis 161,64 s.
Bei jeder RRT-Aufgabe führte die Verwendung exakter Linearisierungen für Metrik und Erweiterung zu deutlich schlechterem Zielabstand und schlechterer Raumabdeckung als jedes Glättungsverfahren.
Alle Experimente liefen auf einem Desktop-Rechner mit einer AMD Threadripper 2950 CPU (16 Kerne, 32 Threads) und 32 GB RAM.

Einschränkungen

Kontakt-Sampling teleportiert den Roboter zwischen Konfigurationen, was unphysikalisch ist; es funktioniert nur, wenn das Objekt ohne die bewegten Finger im statischen Gleichgewicht bleibt (etwa ein Ball, der auf einer nach oben gewandten Handfläche liegt), nicht bei einer nach unten gewandten Hand.
Große Erweiterungsschritte erzeugen unphysikalische Artefakte aus der konvexen Relaxation der Coulomb-Reibung nach Anitescu, daher ist ein Verfeinerungsdurchgang mit iterativer MPC und Shortcutting für physikalisch realistische Trajektorien nötig.
Die quasi-dynamische Annahme bricht bei hochdynamischem Verhalten zusammen.
Das Baumwachstum kann weiterhin stecken bleiben und "Besen" aus vielen gescheiterten Kindknoten eines einzigen Elternknotens bilden.
Alle Ergebnisse dieser Version stammen aus der Simulation (implementiert in Drake); Echtzeitplanung wird als künftige Arbeit genannt.

Wirkung auf das Fachgebiet

Die Arbeit erhielt den T-RO 2024 King-Sun Fu Memorial Best Paper Award (lobende Erwähnung) und hat 210 Zitationen. Sie veröffentlicht ein Video der erzeugten Pläne; diese Version enthält keinen Link zum Code.

Zusammenfassung

Der empirische Erfolg des Reinforcement Learning (RL) im Bereich der kontaktreichen Manipulation lässt aus modellbasierter Sicht vieles unverstanden, wobei die wesentlichen Schwierigkeiten oft (i) der Explosion der Kontaktmodi, (ii) der steifen, nicht glatten Kontaktdynamik und den daraus resultierenden explodierenden bzw. unstetigen Gradienten und (iii) der Nichtkonvexität des Planungsproblems zugeschrieben werden. Die stochastische Natur von RL begegnet (i) und (ii), indem sie die Kontaktmodi effektiv sampelt und mittelt. Modellbasierte Methoden hingegen sind denselben Herausforderungen begegnet, indem sie die Kontaktdynamik analytisch glätten. Unser erster Beitrag besteht darin, die theoretische Äquivalenz der beiden Methoden für einfache Systeme nachzuweisen und an einer Reihe komplexer Beispiele qualitative und empirische Äquivalenz aufzuzeigen. Um (ii) weiter abzumildern, ist unser zweiter Beitrag eine konvexe, differenzierbare und quasi-dynamische Formulierung der Kontaktdynamik, die sich für beide Glättungsverfahren eignet und sich in Experimenten als äußerst wirksam für kontaktreiche Planung erwiesen hat. Unser letzter Beitrag löst (iii): Wir zeigen, dass klassische samplingbasierte Bewegungsplanungsalgorithmen bei der globalen Planung wirksam sein können, wenn Kontaktmodi durch Glättung abstrahiert werden. Durch die Anwendung unserer Methode auf eine Reihe anspruchsvoller kontaktreicher Manipulationsaufgaben zeigen wir, dass effiziente modellbasierte Bewegungsplanung mit drastisch geringerem Rechenaufwand Ergebnisse erzielen kann, die mit RL vergleichbar sind. Video: https://youtu.be/12Ew4xC-VwA

Open Source Robotics