You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration

Autoren: Bowen Wen, Wenzhao Lian, Kostas Bekris, Stefan Schaal · RSS 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein kanonischer Formraum, nur in der Simulation trainiert, bildet ein Demovideo auf neue Objekte ab; verfolgtes Cloning im geschlossenen Regelkreis erreicht 100 % beim Aufstellen von Batterien und 82,9 % beim Zahnradeinsetzen mit 0,5 mm.

Warum es wichtig ist

Eine neue Montagefertigkeit lässt sich mit einem Video plus CAD-Modellen der Trainingsinstanzen lehren, ohne Trainingsdaten aus der realen Welt oder Keypoint-Annotation, und sie überträgt sich auf neue, im Handel gekaufte Instanzen. Der Vergleich mit und ohne Verfolgung zeigt, wie wichtig eine Rückführung der Objektpose im geschlossenen Regelkreis beim Einsetzen mit engen Toleranzen ist.

Problem

Methoden der Manipulation auf Kategorieebene, die eine Fertigkeit über Objektinstanzen hinweg übertragen, benötigen meist manuell festgelegte semantische Keypoints und kostspielige Datenerhebung in der realen Welt, und sie behandeln das gegriffene Objekt als fest mit dem Greifer verbunden und führen im offenen Regelkreis aus. Das versagt bei kontaktreichen Aufgaben mit langem Horizont wie dem Einsetzen einer Batterie gegen eine Feder, bei denen die Zwischen-Aktionssequenz wichtig ist und sich das Objekt in der Hand bewegt.

Lösungsansatz

Ein NUNOCS Net (ein PointNet-ähnliches Netz), das nur auf synthetischen Blender-Daten trainiert wurde, bildet eine partielle Punktwolke in einen kanonischen Raum auf Kategorieebene mit nicht uniformer 3D-Skalierung ab und liefert so dichte Korrespondenz zwischen dem demonstrierten und einem neuen Objekt. Ein RGBD-Demonstrationsvideo wird mit dem modellfreien 6-DoF-Tracker BundleTrack in eine Objektposentrajektorie relativ zur Aufnahme zerlegt, auf das neue Objekt zurückprojiziert und als kollisionsfreie RRT*-Bewegung zu einer Keypose 5 cm vor der Aufnahme ausgeführt, gefolgt von Behavior Cloning auf Kategorieebene (CatBC). CatBC folgt der Zieltrajektorie mit Jacobi-basierten Gelenkupdates und Tracker-Rückführung mit 10 Hz, verankert an einem Koordinatensystem, das ein lokaler Attention-Mechanismus wählt.

Wichtigste Erkenntnisse

Die Demonstration als Posentrajektorie des Objekts relativ zur Aufnahme auszudrücken, trennt die Fertigkeit vom Demonstrator (menschliche Hand oder teleoperierter Roboter) und vom Szenenaufbau.
Die Verfolgung des Objekts in der Hand im geschlossenen Regelkreis ist bei kontaktreichen Aufgaben am wichtigsten: Mit eingeschalteter Verfolgung stieg der Erfolg bei der Batteriemontage von 37,78 % auf 82,22 % und beim Zahnradeinsetzen mit der lockersten Toleranz von 42,9 % auf 100 %.
Dichte 3D-Korrespondenz aus einem in der Simulation trainierten kanonischen Raum war präziser als auf realen Daten trainierte dichte 2D-Deskriptoren (DON) oder semantische Keypoints (KPAM, KPAM 2.0); selbst ohne Verfolgung schlug sie alle Baselines.
Die Aufteilung der Ausführung in kollisionsfreien Transport und Cloning auf dem letzten Zoll erlaubt es dem Roboter, Hindernisse zu bewältigen, die in der Demonstration nicht vorkamen, und nur den Teil des Videos zu reproduzieren, der über den Erfolg entscheidet.
Verschiedene Strategien lassen sich durch erneutes Demonstrieren lehren: Eine Anchor-and-Pivot-Demonstration ergab beim Zahnradeinsetzen höheren Erfolg als einfaches Einsetzen von oben.

Hauptergebnisse

Batterie aufstellen (9 Testbatterien, je 5 Versuche): 100 % für die vollständige Methode, 80,0 % ohne Verfolgung und höchstens 60,0 % für die Baselines (KPAM 2.0 mit demonstrationsbasiertem Cloning).
Batteriemontage gegen eine Feder: 82,22 % für die vollständige Methode, 37,78 % ohne Verfolgung, höchstens 24,44 % für die Baselines und 0 % für KPAM, KPAM 2.0 und DON ohne Cloning.
Zahnradeinsetzen (7 Testzahnräder): 100 % bei 5 mm Toleranz (3 mm für ein Zahnrad), 82,9 % bei 0,5 mm und 28,6 % bei 0,1 mm; die beste Baseline erreichte 31,4 % bei 5 mm, alle sechs Baselines erzielten 0 % bei 0,5 mm, und die Variante ohne Verfolgung erzielte 5,7 % bei 0,5 mm.
Über die Methode und 7 Baselines hinweg wurden 1.560 Versuche in der realen Welt durchgeführt; der Tracker läuft mit der Kamerarate von 10 Hz.
Das NUNOCS Net nutzte 100.000 synthetische Datenpunkte pro Kategorie, während die Baselines KPAM und KPAM 2.0 auf 90.000 bis 98.340 realen Datenpunkten pro Kategorie mit Keypoint-Annotationen trainiert wurden.

Einschränkungen

Vision ist die einzige Sensormodalität; die Autoren erwarten, dass Kraft- oder taktile Sensorik die Genauigkeit bei Hochpräzisionsaufgaben verbessert.
Es werden nur starre Objekte behandelt; artikulierte oder verformbare Objekte wie Kabel benötigen andere Repräsentationen auf Kategorieebene.
Berichtete Fehlermodi: Bei der Batteriemontage kann die Federkraft die Batterie aus dem Greifer drücken, und beim Anchor-and-Pivot-Zahnradeinsetzen kann sich das Zahnrad in der Hand drehen, bis keine kollisionsfreie Lösung der inversen Kinematik mehr existiert.
Bei einer Toleranz zwischen Zahnrad und Welle von 0,1 mm fällt der Erfolg auf 28,6 %.
Die Methode setzt einen Griff voraus, der die Aufgabe nicht behindert (Griffplanung liegt außerhalb ihres Umfangs), und die Aufnahmen sind aus geometrischen Primitiven aufgebaut und werden mit RANSAC lokalisiert.

Wirkung auf das Fachgebiet

Finalist für den RSS 2022 Best Paper Award und 145-mal zitiert. Die Arbeit gibt keine Veröffentlichung eigenen Codes oder eigener Daten an.

Zusammenfassung

In letzter Zeit wurden vielversprechende Ergebnisse bei der Manipulation auf Kategorieebene erzielt, die über Objektinstanzen hinweg generalisiert. Dennoch erfordert sie oft eine teure Datenerhebung in der realen Welt und die manuelle Festlegung semantischer Keypoints für jede Objektkategorie und Aufgabe. Zudem behindern grobe Keypoint-Vorhersagen und das Ignorieren von Zwischen-Aktionssequenzen den Einsatz bei komplexen Manipulationsaufgaben jenseits von Pick-and-Place. Diese Arbeit schlägt ein neuartiges Framework für Manipulation auf Kategorieebene vor, das eine objektzentrierte Repräsentation auf Kategorieebene und modellfreie 6-DoF-Bewegungsverfolgung nutzt. Die kanonische Objektrepräsentation wird ausschließlich in der Simulation gelernt und dann verwendet, um aus einem einzigen Demonstrationsvideo eine Aufgabentrajektorie auf Kategorieebene zu extrahieren. Die Demonstration wird über die kanonische Repräsentation auf eine Zieltrajektorie zurückprojiziert, die auf ein neues Objekt zugeschnitten ist. Während der Ausführung wird der Manipulationshorizont in eine weiträumige, kollisionsfreie Bewegung und die Manipulation auf dem letzten Zoll (last-inch) zerlegt. Für den letzteren Teil nutzt eine Methode des Behavior Cloning auf Kategorieebene (CatBC) die Bewegungsverfolgung für eine Regelung im geschlossenen Regelkreis. CatBC folgt der Zieltrajektorie, die aus der Demonstration projiziert und an einem dynamisch gewählten Koordinatensystem auf Kategorieebene verankert ist. Das Koordinatensystem wird entlang des Manipulationshorizonts automatisch durch einen lokalen Attention-Mechanismus gewählt. Dieses Framework erlaubt es, verschiedene Manipulationsstrategien allein durch die Bereitstellung einer einzigen Demonstration zu lehren, ohne komplizierte manuelle Programmierung. Umfangreiche Experimente zeigen seine Wirksamkeit bei einer Reihe anspruchsvoller industrieller Aufgaben der Hochpräzisionsmontage, die das Lernen komplexer Policies mit langem Horizont erfordern. Der Prozess zeigt Robustheit gegenüber dynamikbedingter Unsicherheit sowie Generalisierung über Objektinstanzen und Szenenkonfigurationen hinweg.

Open Source Robotics