FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding

Autoren: Huy Ha, Shuran Song · CoRL 2021

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein zweiarmiger Roboter lernt selbstüberwacht, wo er ein zerknülltes Tuch für eine feste Greif-Streck-Schleuder-Bewegung greifen soll, und schlägt quasistatisches Pick & Place bei Abdeckung und Schrittzahl.

Warum es wichtig ist

Die Arbeit zeigt, dass eine einzige gelernte Primitive mit hoher Geschwindigkeit ein Tuch in wenigen Aktionen entfalten, Tücher größer als die Reichweite handhaben und von Rechtecken auf T-Shirts übertragen werden kann. Das reale System erkennt ein gestrecktes Tuch mit einer zweiten RGB-D-Kamera statt mit Kraftsensoren, und das Trainingssignal stammt aus einer Maske einer von oben blickenden Kamera, was die Hardware einfach hält.

Problem

Die meisten Systeme zum Entfalten von Tüchern verwenden quasistatische Aktionen eines einzelnen Arms wie Pick & Place, die bei stark zerknülltem Tuch viele Interaktionen benötigen und Tücher größer als die Reichweite des Arms nicht handhaben können. Heuristische Methoden auf Basis von Ecken, Kanten oder Falten scheitern, wenn diese Keypoints verdeckt, nicht sichtbar oder bei nicht quadratischem Tuch gar nicht vorhanden sind.

Lösungsansatz

FlingBot legt eine zweiarmige Bewegungsprimitive fest (Pinzettengriff von oben an zwei Punkten, Anheben auf 0,30 m und straff Strecken, Schleudern 0,70 m nach vorn mit 1,4 m/s, 0,50 m Zurückziehen, Ablegen) und lernt nur, wo gegriffen wird, parametrisiert durch ein Zentrumspixel, einen Winkel und eine Breite, sodass die Bedingungen für Armreihenfolge und Greifbreite linear und unabhängig bleiben. Ein Value-Netzwerk sagt pro Pixel die Delta-Abdeckung auf einem Bild von oben bei 12 Rotationen und 8 Skalierungen vorher (Spatial Action Maps); es wird selbstüberwacht in einem eigenen, auf PyFleX basierenden Simulator trainiert und dann auf zwei realen UR5-Armen feinabgestimmt.

Wichtigste Erkenntnisse

Werden die Streck- und Schleuderbewegung festgelegt, reduziert sich das Lernen auf die Wahl zweier Greifpunkte; auch das Lernen der Schleudergeschwindigkeit (FlingBot-S) brachte keinen signifikanten Gewinn.
Die Parametrisierung des Zweiarmgriffs durch Zentrum, Winkel in [−90°, 90°] und Breite macht die Links-von-rechts- und die Armabstandsbedingung linear und unabhängig.
Die Nutzung von Translations-, Rotations- und Skalierungsäquivarianz über Spatial Action Maps ist entscheidend: Die direkte Regression der Greifparameter (Fling-Reg) erreichte bei normalen Rechtecken nur +0,3 % Delta-Abdeckung.
Durch Versuch und Irrtum lernte die Policy, sichtbare Ecken und Kanten zu greifen oder so zu schleudern, dass sie sichtbar werden, eine Strategie, die frühere heuristische Methoden von Hand entworfen hatten.
Schleudern erweitert die effektive Reichweite, sodass auch Tücher entfaltet werden können, die größer sind als die Reichweite der Arme.

Hauptergebnisse

Simulation, normale Rechtecke (finale / Delta-Abdeckung): FlingBot 91,9 % / +63,1 % gegenüber Pick&Place 53,0 / +24,2, Pick&Drag 58,0 / +29,2 und Stretch&Drag 77,2 / +48,4.
Über 80 % Abdeckung innerhalb von 3 Aktionen bei neuen normalen rechteckigen Tüchern in der Simulation.
Große Rechtecke jenseits der Reichweite: 79,2 % finale und +52,0 % Delta-Abdeckung, etwa doppelt so viel wie die quasistatischen Baselines (+24,8 %, +27,1 %, +23,1 %).
T-Shirts, im Training nicht gesehen: 93,3 % finale / +46,8 % Delta-Abdeckung in der Simulation.
Reales Dual-UR5-System, 10 Testepisoden pro Tuchtyp: finale Abdeckung 81,9 %, 88,5 % und 89,2 % bei normalem Rechteck, großem Rechteck und Shirt gegenüber 43,2 %, 38,4 % und 42,7 % für Pick&Place; das Feintuning steigerte die Abdeckung bei normalen Tüchern von 69,8 % auf 81,9 %.
Medianzeit pro Schleuderprimitive 16,7 s gegenüber 8,8 s für Pick & Place, zuzüglich 2,5 s bzw. 2,9 s Overhead für beide.

Einschränkungen

Für komplexere, zielkonditionierte Tuchaufgaben wie das Falten ist künftige Arbeit nötig; die Autoren schlagen vor, dies durch die Kombination dynamischer und quasistatischer Aktionen mit einer Schätzung der Tuchpose anzugehen.
Die Experimente verwenden einen schlichten schwarzen Arbeitsbereich und untexturierte farbige Tücher für einfaches Maskieren; beliebige Texturen würden zusätzliche Segmentierung oder Hintergrundsubtraktion erfordern.
Die realen Ergebnisse sind über 10 Testepisoden pro Tuchtyp gemittelt, wobei Greiffehler in der realen Welt herausgefiltert wurden.
Ein Schleudern dauert länger als ein Pick & Place (Median 16,7 s gegenüber 8,8 s), obwohl es weniger Aktionen benötigt.
Der reale Aufbau stützte sich auf eine 2-Zoll-Gummimatte und Gummiüberzüge für die Greiferfinger, um Pinzettengriffe zu unterstützen, und das Training bis zur Konvergenz dauerte etwa 6 Tage auf einer GTX 1080 Ti.

Wirkung auf das Fachgebiet

Gewinner des CoRL 2021 Best System Paper Award, mit 229 Zitationen laut Angabe. Die Autoren stellen Code, die Simulationsumgebung, Daten und Experimentvideos über die Projektseite bereit, darunter einen eigenen Simulator auf Basis von PyFleX, der beliebige Tuch-Meshes lädt.

Zusammenfassung

Dynamische Aktionen mit hoher Geschwindigkeit (z. B. Schleudern oder Werfen) spielen in unserer alltäglichen Interaktion mit verformbaren Objekten eine entscheidende Rolle, indem sie unsere Effizienz verbessern und unsere physische Reichweite effektiv erweitern. Dennoch haben die meisten bisherigen Arbeiten die Tuchmanipulation ausschließlich mit quasistatischen Aktionen eines einzelnen Arms angegangen, was bei schwierigen Anfangskonfigurationen des Tuchs eine große Zahl von Interaktionen erfordert und die maximale Tuchgröße durch die Reichweite des Roboters streng begrenzt. In dieser Arbeit zeigen wir mit unserem vorgeschlagenen selbstüberwachten Lern-Framework FlingBot die Wirksamkeit dynamischer Schleuderaktionen für das Entfalten von Tüchern. Unser Ansatz lernt aus visuellen Beobachtungen, ein Stück Stoff aus beliebigen Anfangskonfigurationen zu entfalten, und nutzt dabei eine Greif-, Streck- und Schleuderprimitive für einen zweiarmigen Aufbau. Das finale System erreicht über 80 % Abdeckung innerhalb von 3 Aktionen bei neuen Tüchern, kann Tücher entfalten, die größer als die Reichweite des Systems sind, und generalisiert auf T-Shirts, obwohl es nur mit rechteckigen Tüchern trainiert wurde. Außerdem haben wir FlingBot auf einer realen zweiarmigen Roboterplattform feinabgestimmt, wo es die Tuchabdeckung um mehr als das 4-Fache dessen steigerte, was die quasistatische Baseline erreichte. Die Einfachheit von FlingBot zusammen mit seiner überlegenen Leistung gegenüber quasistatischen Baselines zeigt die Wirksamkeit dynamischer Aktionen für die Manipulation verformbarer Objekte.