ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection

Autoren: Arpit Bahety, Priyanka Mandikal, Ben Abbatematteo, Roberto Martín-Martín · RSS 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Modelliert die Bewegung zweier Hände als Schraubgelenk mit 1-DoF, extrahiert es aus einem einzigen RGB-D-Video eines Menschen und verfeinert es auf einem Tiago++ durch Suche im Schraubenraum; 16 von 18 Versuchen gelingen über sechs Aufgaben.

Warum es wichtig ist

Die Methode benötigt ein RGB-D-Video pro Aufgabe und weder Teleoperationsaufbau noch Motion Capture oder Simulator. Die Beschränkung der Erkundung auf eine Schraubenachse machte aus drei Aufgaben, die bei 6-DoF-Wegpunkt-Erkundung scheiterten, Erfolge innerhalb von 25 Episoden am realen Roboter.

Problem

Bimanuelle Manipulation erfordert zwei räumlich und zeitlich synchronisierte Arme, was einen großen Aktionsraum ergibt, in dem zufällige Erkundung auf realer Hardware unpraktikabel ist. Videos von Menschen sind eine günstige Quelle für Demonstrationen, doch das Handtracking ist verrauscht und die Körper von Mensch und Roboter unterscheiden sich, sodass abgespielte Bewegungen scheitern und verfeinert werden müssen, was den großen Suchraum zurückbringt.

Lösungsansatz

In Anlehnung an biomechanische Arbeiten, die zwei Hände als serielle kinematische Kette modellieren, definiert ScrewMimic eine Schraubaktion: Greifpunkte für jede Hand, eine Schraubenachse mit 1-DoF (prismatisch, rotatorisch oder rotatorisch mit fester Orientierung) für die Bewegung der rechten Hand relativ zur linken und eine optionale Trajektorie der linken Hand. Es extrahiert diese aus einem einzigen RGB-D-Video mithilfe eines Hand-Objekt-Detektors und FrankMocap, trainiert PointNet-Modelle auf geometrisch augmentierten Punktwolken, um sie für neue Objektposen vorherzusagen, und verfeinert fehlschlagende Vorhersagen mit der Cross-Entropy-Methode im Raum der Schraubenachse, unter Verwendung einer selbst erzeugten Belohnung aus Episodenlänge und Kraft-Drehmoment-Messwerten am Handgelenk. Erfolgreiche Aktionen werden zurückgeführt, um den Prädiktor neu zu trainieren.

Wichtigste Erkenntnisse

Viele zweihändige Aufgaben, mit physischem Gelenk (Flasche, Laptop, Rolle) oder ohne (Umrühren, Schneiden, Reißverschluss schließen), lassen sich durch ein einziges virtuelles Schraubgelenk mit 1-DoF zwischen den Händen beschreiben.
Die Projektion verrauschter Handtracking-Trajektorien auf eine Schraubenachse bereinigt die Demonstration, bevor der Roboter sie verwendet.
Die Erkundung über Parameter der Schraubenachse statt über N×6-DoF-Wegpunkte macht die Feinabstimmung am realen Roboter innerhalb von 25 Episoden machbar.
Beide Belohnungsterme sind nötig: Ohne Erkennung des Griffverlusts oder die Rangfolge nach mittlerem Kraftwinder scheiterten Flaschenöffnen und Umrühren.
Erfolgreiche feinabgestimmte Aktionen können den Prädiktor neu trainieren, der dann am selben Objekt fast zero-shot erfolgreich ist und sich an neue Exemplare der Kategorie anpasst.

Hauptergebnisse

Neue Objektposen (Tabelle I): Flasche öffnen 2/3, Reißverschluss schließen 3/3, Rolle einsetzen 3/3, Laptop schließen 3/3, Umrühren 2/3, Schneiden 3/3, also 16 von 18 Versuchen, was das Paper als 90 % Gesamterfolg angibt.
Erfolgreiche Versuche benötigten im Mittel 7 bis 18 Episoden (1 bis 3 Epochen zu je 5 Episoden), bei einer Obergrenze von 25 Episoden; die Feinabstimmung dauert etwa 40 Minuten.
Ablation des Aktionsraums (Tabelle III): Die Erkundung im Schraubenraum war bei Flasche, Rolle und Laptop nach 16, 7 und 11 von 25 Episoden erfolgreich; FM + N×6-DoF (im Stil von DEFT) und Screw + N×6-DoF scheiterten bei allen drei innerhalb von 25 Episoden und erreichten 0–50 % Aufgabenerfüllung.
Neutraining mit der korrigierten Aktion (Tabelle II): Am selben Objekt sank Flasche öffnen von 3 Epochen/16 Episoden auf 0/1 und Rolle einsetzen von 1/7 auf 0/2; bei einer neuen Flasche benötigte das neu trainierte Modell 2/14 und nach einer weiteren Runde 0/1.
Mit dem größten hinzugefügten Rauschen (σ = 3,0 cm, 12,5°) lag die extrahierte Achse um 2,1 cm und 13,1° daneben, und die Feinabstimmung gelang dennoch nach 4 Epochen und 21 Episoden.
Ein auf ModelNet-40 vortrainiertes PointNet verringerte den Achsenfehler bei ungesehenen Flaschen (z. B. von 0,09 m, 6° auf 0,03 m, 4,2°), während der Fehler bei der Trainingsflasche gleich blieb.

Einschränkungen

Eine einzelne Schraubenachse passt nicht zu Aufgaben, bei denen sich die Hände entlang mehr als einer Achse bewegen, etwa beim Schneiden im Zickzack.
Für jede Objektklasse wird ein eigenes Vorhersagemodell trainiert, was die Generalisierung einschränkt.
Der Episodenerfolg wird manuell erfasst, und ein Mensch setzt die Szene bei Bedarf zurück.
Nur die Schraubenachse wird feinabgestimmt, nicht die Greifkontaktpunkte; spiegelnde Oberflächen wie der Laptop mussten abgedeckt werden, weil der Tiefensensor sie nicht aus allen Winkeln erfassen konnte.
Bei höchstens 25 Episoden pro Versuch hängen die Ergebnisse von den ersten Stichproben der Schraubaktion ab; die beiden gescheiterten Versuche endeten, ohne eine erfolgreiche Aktion zu finden.

Wirkung auf das Fachgebiet

Finalist für den RSS 2024 Outstanding Student Paper Award, mit 44 Zitierungen. Die offizielle Projektseite verlinkt den Code unter github.com/UT-Austin-RobIn/ScrewMimic.

Zusammenfassung

Bimanuelle Manipulation ist eine seit Langem bestehende Herausforderung in der Robotik, wegen der großen Zahl an Freiheitsgraden und der strengen räumlichen und zeitlichen Synchronisation, die für sinnvolles Verhalten erforderlich ist. Menschen lernen bimanuelle Manipulationsfähigkeiten, indem sie anderen Menschen zusehen und ihre Fähigkeiten durch Spiel verfeinern. In dieser Arbeit wollen wir Robotern ermöglichen, bimanuelles Manipulationsverhalten aus Videodemonstrationen von Menschen zu lernen und durch Interaktion feinabzustimmen. Inspiriert von grundlegenden Arbeiten der Psychologie und Biomechanik schlagen wir vor, die Interaktion zwischen zwei Händen als serielle kinematische Kette zu modellieren, genauer als Schraubbewegung, mit der wir einen neuen Aktionsraum für bimanuelle Manipulation definieren: Schraubaktionen. Wir stellen ScrewMimic vor, ein Framework, das diese neuartige Aktionsrepräsentation nutzt, um das Lernen aus menschlicher Demonstration und die selbstüberwachte Feinabstimmung von Policies zu erleichtern. Unsere Experimente zeigen, dass ScrewMimic mehrere komplexe bimanuelle Verhaltensweisen aus einer einzigen menschlichen Videodemonstration lernen kann und Baselines übertrifft, die Demonstrationen direkt im ursprünglichen Bewegungsraum beider Arme interpretieren und feinabstimmen. Weitere Informationen und Videoergebnisse: https://robin-lab.cs.utexas.edu/ScrewMimic/

Open Source Robotics