VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

Autoren: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei · CoRL 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein LLM schreibt Python, das aus Vision-Language-Detektionen 3D-Voxelkarten für Affordanz und Vermeidung füllt; ein Planer macht daraus ohne zusätzliches Training 6-DoF-Trajektorien im geschlossenen Regelkreis.

Warum es wichtig ist

Keine Komponente wird für die Aufgaben trainiert: Wissen aus dem Sprachmodell wird direkt im 3D-Beobachtungsraum des Roboters verankert und von einem Standardplaner verwendet. Da der Planer anhand neuer Beobachtungen neu plant, verkraftet die Ausführung Störungen wie verschobene Ziele oder eine Schublade, die wieder aufgezogen wird, nachdem der Roboter sie geschlossen hat.

Problem

LLM-basierte Roboterplaner rufen meist eine Bibliothek vordefinierter Bewegungsprimitive auf, und der Erwerb dieser Fähigkeiten ist ein Engpass, weil groß angelegte Roboterdaten knapp sind. LLMs können zudem hochfrequente, hochdimensionale Steueraktionen nicht direkt als Text ausgeben. Das Paper fragt, wie sich LLM-Wissen auf der Ebene feingranularer Aktionen nutzen lässt, für offene Mengen von Anweisungen und Objekten, ohne aufgabenspezifische Datenerhebung oder handentworfene Primitive.

Lösungsansatz

Aus einer Anweisung und RGB-D-Beobachtungen erzeugt GPT-4 Python-Code, der Wahrnehmungs-APIs (OWL-ViT-Detektion, Segment-Anything-Masken, XMem-Tracking) und NumPy-Operationen aufruft, um 100×100×100-Voxelkarten für Affordanz, Vermeidung, Endeffektor-Rotation, Geschwindigkeit und Greiferzustand zu füllen. Ein Bewegungsplaner mit gieriger Suche findet kollisionsfreie Endeffektor-Wegpunkte auf einer Kostenkarte, die aus den gewichteten Affordanz- und Vermeidungskarten gebildet wird, führt den ersten Wegpunkt aus und plant in einer modellprädiktiven Regelschleife mit 5 Hz neu. Bei kontaktreichen Aufgaben lenken die Zero-Shot-Trajektorien die Exploration, während online ein MLP-Dynamikmodell gelernt wird.

Wichtigste Erkenntnisse

LLMs sind schlecht darin, rohe Steueraktionen auszugeben, aber gut darin, Affordanzen und Nebenbedingungen abzuleiten, und sie können diese als Code ausdrücken, der Werte in 3D-Voxelkarten schreibt.
Das Zusammensetzen räumlicher Wertekarten in einer gemeinsamen Optimierung generalisierte besser als ein LLM, das eine feste Liste von Primitiven parametriert (eine Variante von Code as Policies), und besser als ein U-Net, das auf die Vorhersage von Kostenkarten trainiert wurde.
Zero-Shot-Trajektorien für kontaktreiche Aufgaben sind oft sinnvoll, aber unzureichend; als Explorations-Prior genutzt, machen sie das Lernen eines Dynamikmodells praktikabel.
In der Simulation hatte VoxPoser unter den verglichenen Methoden den geringsten Spezifikationsfehler; in der realen Welt stammten die meisten Fehler aus der Wahrnehmung, etwa der Empfindlichkeit des Detektors gegenüber anfänglichen Objektposen und Objektteilen.

Hauptergebnisse

Reale Welt, fünf Aufgaben mit je 10 Versuchen: 88,0 % Erfolg in statischen Szenen und 70,0 % mit Störungen, gegenüber 24,0 % und 0,0 % für LLM + Primitive.
Simulation (13 Aufgaben, 2766 eindeutige Anweisungen, 20 Episoden pro Aufgabe), Erfolg bei Objektinteraktion / räumlicher Komposition: 64,0 % / 77,5 % mit gesehenen Anweisungen und Attributen, 60,0 % / 58,8 % mit ungesehenen Attributen und 65,0 % / 76,7 % mit ungesehenen Anweisungen und Attributen.
Im Szenario mit ungesehenen Anweisungen und ungesehenen Attributen erreichten die Baselines 0,0 % / 0,0 % (U-Net + Bewegungsplaner) und 17,5 % / 25,0 % (LLM + Primitive).
Kontaktreiche simulierte Aufgaben: Der Zero-Shot-Erfolg von 6,7 % (Tür), 3,3 % (Fenster) und 18,3 % (Kühlschrank) stieg nach etwa 142 s, 137 s und 71 s Online-Interaktion mit dem Zero-Shot-Prior auf 88,3 %, 80,0 % und 91,7 %; Exploration ohne den Prior überschritt das Limit von 12 Stunden.
Der reale Aufbau plant mit 5 Hz neu, während zwei Azure-Kinect-Kameras RGB-D mit 20 Hz streamen.

Einschränkungen

Laut den Autoren: VoxPoser stützt sich auf externe Wahrnehmungsmodule, was Aufgaben einschränkt, die ganzheitliches visuelles Schließen oder das Verständnis feingranularer Objektgeometrie erfordern.
Laut den Autoren: Ein universelles Dynamikmodell ist weiterhin nötig, um kontaktreiche Aufgaben mit demselben Grad an Generalisierung zu bewältigen; reale objektzentrierte Aufgaben nutzten ein heuristisches Modell für planares Schieben und ein vordefiniertes Schiebe-Primitiv.
Laut den Autoren: Der Bewegungsplaner berücksichtigt nur Endeffektor-Trajektorien, während eine Planung für den ganzen Arm wahrscheinlich das bessere Design ist.
Laut den Autoren: Die LLM-Prompts werden von Hand gestaltet (5–20 Beispielanfragen pro Sprachmodellprogramm).
Bei den meisten Aufgaben wird die Szene abgesehen vom Neuplanen als statisch angenommen, und die Zerlegung von Anweisungen in Teilaufgaben durch das LLM wird nicht eingehend untersucht.

Wirkung auf das Fachgebiet

735-mal zitiert (Zahl wie angegeben). Die offizielle Projektseite verlinkt das Code-Repository von VoxPoser, und das Paper veröffentlicht seine vollständigen LLM-Prompts auf der Projektwebsite.

Zusammenfassung

Große Sprachmodelle (LLMs) besitzen nachweislich eine Fülle handlungsrelevanten Wissens, das in Form von Schlussfolgern und Planen für die Robotermanipulation extrahiert werden kann. Trotz der Fortschritte stützen sich die meisten Ansätze weiterhin auf vordefinierte Bewegungsprimitive, um die physischen Interaktionen mit der Umgebung auszuführen, was ein wesentlicher Engpass bleibt. In dieser Arbeit wollen wir Robotertrajektorien, d. h. eine dichte Folge von 6-DoF-Endeffektor-Wegpunkten, für eine große Vielfalt von Manipulationsaufgaben synthetisieren, gegeben eine offene Menge von Anweisungen und eine offene Menge von Objekten. Dies erreichen wir zunächst durch die Beobachtung, dass LLMs hervorragend darin sind, aus einer frei formulierten sprachlichen Anweisung Affordanzen und Nebenbedingungen abzuleiten. Wichtiger noch: Durch Nutzung ihrer Fähigkeit, Code zu schreiben, können sie mit einem Vision-Language-Modell (VLM) interagieren, um 3D-Wertekarten zusammenzusetzen und so das Wissen im Beobachtungsraum des Agenten zu verankern. Die zusammengesetzten Wertekarten werden dann in einem modellbasierten Planungsframework verwendet, um zero-shot Robotertrajektorien im geschlossenen Regelkreis zu synthetisieren, die robust gegenüber dynamischen Störungen sind. Wir zeigen außerdem, wie das vorgeschlagene Framework von Online-Erfahrungen profitieren kann, indem es effizient ein Dynamikmodell für Szenen mit kontaktreichen Interaktionen lernt. Wir präsentieren eine groß angelegte Studie der vorgeschlagenen Methode sowohl in simulierten als auch in realen Roboterumgebungen und zeigen die Fähigkeit, eine große Vielfalt alltäglicher Manipulationsaufgaben auszuführen, die in frei formulierter natürlicher Sprache vorgegeben werden. Videos und Code unter https://voxposer.github.io

Open Source Robotics