Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans

Autoren: Homanga Bharadhwaj, Abhinav Gupta, Vikash Kumar, Shubham Tulsiani · ICRA 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

HOPMan sagt mithilfe von Webvideos aus einem Szenen- und einem Zielbild künftige Hand- und Objektmasken voraus und übersetzt diesen Plan dann in Aktionen eines Franka Panda, wobei es 16 Fähigkeiten und 40 Objekte zero-shot abdeckt.

Warum es wichtig ist

Der größte Teil des Wissens darüber, wie sich Hände und Objekte bewegen, stammt aus passiven Webvideos, sodass die roboterspezifischen Daten gering bleiben: Die Autoren sammelten 600 gepaarte Trajektorien in etwa 3 Tagen. Eine einzige zielkonditionierte Policy wird an ungesehenen Objektinstanzen, ungesehenen Objekt-Fähigkeits-Paaren, ungesehenen Objektkategorien und ungesehenen Fähigkeiten getestet, auch auf einer mobilen Basis in unveränderten Küchen und Büros.

Problem

Roboter-Interaktionsdaten für jede Aufgabe, jedes Objekt und jede Fähigkeit zu sammeln, skaliert nicht, und neuere Systeme mit breiten Fähigkeiten benötigten Jahre an Roboterdaten und blieben dennoch weitgehend auf Greifen, Ablegen und Schieben beschränkt. Methoden, die menschliche Videos für visuelle Repräsentationen oder Affordanzen nutzen, benötigen weiterhin viele Roboterdemonstrationen oder Training zur Einsatzzeit, und andere lernen eine eigene Policy pro Aufgabe.

Lösungsansatz

Die Policy wird faktorisiert in ein zielkonditioniertes Diffusionsmodell, das aus einem aktuellen Bild und einem Zielbild sieben künftige Frames mit Hand- und Objektmasken vorhersagt und auf etwa 150.000 zweisekündigen Clips aus EPIC-KITCHENS und Ego4D trainiert wird, und eine Transformer-Übersetzungs-Policy, die die vorhergesagten Masken und aktuellen Beobachtungen auf 8-D-Aktionen abbildet (7 Gelenkpositionen plus Greifer öffnen/schließen). Das Übersetzungsmodell wird auf etwa 400 im Labor und 200 in freier Umgebung aufgenommenen gepaarten Mensch-Roboter-Trajektorien trainiert, dazu auf etwa 1000 reinen Robotertrajektorien, in denen der Roboter per Inpainting entfernt und eine menschliche Hand per Inpainting eingefügt wird.

Wichtigste Erkenntnisse

Semantische Masken der Hand und des manipulierten Objekts bilden einen kompakten Planraum, der aufgabenirrelevante Szenendetails verwirft und aus nicht kuratierten menschlichen Videos gelernt werden kann.
Die Policy in Planvorhersage und Übersetzung vom Plan in Aktionen aufzuteilen, lässt den datenhungrigen Teil aus Webvideos lernen, während der roboterspezifische Teil nur wenige gepaarte Daten benötigt.
Halluzinierte Paare (Robotervideos, in denen der Arm per Inpainting durch eine menschliche Hand ersetzt ist) verbesserten das Übersetzungsmodell, wenn sie zu realen gepaarten Daten hinzugefügt wurden, obwohl sie unvollkommen sind.
Die Arbeit schlägt eine strukturierte Generalisierungsskala vor: mild (neue Konfigurationen gesehener Objekte und Fähigkeiten), standard (neue Instanzen, ungesehene Objekt-Fähigkeits-Kombinationen) und stark (ungesehene Objektkategorien, ungesehene Fähigkeiten).

Hauptergebnisse

Erfolgsraten (%) von HOPMan auf dem Tisch für milde / Instanz- / ungesehene-Kombinations- / ungesehene-Kategorie- / ungesehene-Fähigkeits-Generalisierung: 68 / 58 / 50 / 40 / 25; zielkonditioniertes BC erreichte 43 / 20 / 13 / 0 / 0 und VRB 50 / 25 / 15 / 0 / 0.
Erfolgsraten (%) von HOPMan in freier Umgebung: 60 / 40 / 40 / 30 / 25, gegenüber 45 / 10 / 10 / 0 / 0 für BC und 50 / 15 / 10 / 0 / 0 für die auf MimicPlay basierende MP-Baseline.
H2R, nur auf passiven menschlichen Videos trainiert, erreichte 20 / 20 / 15 / 15 / 15 auf dem Tisch und 15 / 10 / 15 / 15 / 10 in freier Umgebung; es war die einzige Baseline über null bei starker Generalisierung.
Übersetzungsmodell allein mit Ground-Truth-Hand-Objekt-Masken (%): gepaarte plus halluzinierte Daten 85 / 65 / 60 / 60 / 25, nur gepaarte 85 / 60 / 50 / 30 / 15, nur halluzinierte 30 / 25 / 25 / 20 / 0.
Die Evaluation umfasst etwa 100 Aufgaben aus 16 Fähigkeiten und 40 Objekttypen mit jeweils 2 bis 3 Instanzen.

Einschränkungen

Die Autoren geben an, dass die bewältigten ungesehenen Aufgaben in ihrer Komplexität noch begrenzt sind, und überlassen Aufgaben mit langem Horizont, die mehrere Fähigkeiten kombinieren, künftiger Arbeit.
Sie erwarten, dass das Framework bei geschickter Manipulation Schwierigkeiten hat, da die Rekonstruktion präziser Hand- und Fingerartikulation aus Webvideos ein offenes Problem bleibt.
Der Erfolg bei starker Generalisierung bleibt bei 25 bis 40 % auf dem Tisch und 25 bis 30 % in freier Umgebung.
Der Erfolg wird durch manuelle Prüfung beurteilt, wie nah die endgültige Objektkonfiguration am Zielbild ist, und die Anzahl der Versuche pro Einstellung wird nicht angegeben.

Wirkung auf das Fachgebiet

Finalist für den IEEE ICRA 2024 Best Paper Award in Robot Manipulation, mit 82 Zitierungen. Die Arbeit verlinkt eine Projektwebsite mit Robotervideos; ein Code-Repository gibt sie nicht an.

Zusammenfassung

Wir verfolgen das Ziel, Roboter zu entwickeln, die über ein vielfältiges Repertoire an Manipulationsfähigkeiten zero-shot mit beliebigen ungesehenen Objekten interagieren können, und zeigen, wie passive menschliche Videos als reichhaltige Datenquelle für das Lernen solcher Generalisten-Roboter dienen können. Anders als typische Ansätze des Roboterlernens, die direkt aus Interaktionsdaten lernen, wie ein Roboter handeln soll, verfolgen wir einen faktorisierten Ansatz, der großskalige menschliche Videos nutzen kann, um zu lernen, wie ein Mensch eine gewünschte Aufgabe erledigen würde (einen menschlichen „Plan“), und diesen Plan anschließend auf die Verkörperung des Roboters „überträgt“. Konkret lernen wir einen menschlichen „Plan-Prädiktor“, der aus einem aktuellen Bild einer Szene und einem Zielbild die künftigen Hand- und Objektkonfigurationen vorhersagt. Wir kombinieren dies mit einem „Übersetzungs“-Modul, das eine plankonditionierte Policy zur Robotermanipulation lernt und es ermöglicht, menschlichen Plänen für allgemeine Manipulationsaufgaben zero-shot und ohne Training zur Einsatzzeit zu folgen. Wichtig ist, dass der Plan-Prädiktor zum Lernen großskalige menschliche Videos nutzen kann, während das Übersetzungsmodul nur eine kleine Menge In-Domain-Daten benötigt und auf Aufgaben generalisieren kann, die im Training nicht gesehen wurden. Wir zeigen, dass unser gelerntes System über 16 Manipulationsfähigkeiten ausführen kann, die auf 40 Objekte generalisieren, und damit 100 reale Aufgaben der Tischmanipulation und vielfältiger Manipulation in freier Umgebung abdeckt. https://homangab.github.io/hopman/

Open Source Robotics