LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models

Autoren: Chan Hee Song, Jiaman Wu, Clayton Washington, Brian M. Sadler, Wei-Lun Chao, Yu Su · ICCV 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

GPT-3 mit abgerufenen Beispielen und objektbasiertem Neuplanen schreibt aus 100 gelabelten Beispielen Pläne auf hoher Ebene für ALFRED und kommt an HLSM heran, das mit 21.023 trainiert wurde.

Warum es wichtig ist

Der Planer verlangt vom Host-Agenten nur eine Objektliste und einen Low-Level-Planer und benötigt keine Parameteraktualisierungen, sodass er an einen bestehenden hierarchischen Agenten angebunden werden kann. Das Grounding stammt von einem vortrainierten Objektdetektor statt aus Ground-Truth-Szeneninformationen, und das Allgemeinwissen im Sprachmodell ersetzt den größten Teil der gepaarten Sprachdaten, die ein Planer auf hoher Ebene normalerweise benötigt.

Problem

Verkörperte Agenten, die Anweisungen befolgen, lernen aus großen Mengen gepaarter Daten (Anweisung, Trajektorie), etwa Tausenden ALFRED-Beispielen pro Aufgabentyp, deren Erhebung teuer ist. In einem hierarchischen Agenten braucht nur der Planer auf hoher Ebene mit Sprache gepaarte Daten, aber immer noch viele davon: Mit 100 Beispielen neu trainiert, schließen die Planer von HLSM und FILM kaum eine Aufgabe ab.

Lösungsansatz

LLM-Planner fordert GPT-3 per Prompt auf, einen Plan auf hoher Ebene zu schreiben, eine Folge von Teilzielen wie 'Navigation fridge, OpenObject fridge', wobei 9 In-Context-Beispiele verwendet werden, die ein Nächste-Nachbarn-Retriever auf Basis von BERT-Embeddings aus 100 Trainingspaaren auswählt, und Logit-Biases die Ausgabe auf zulässige Aktionen und Objekte lenken. Wenn ein Teilziel scheitert oder zu viele Schritte benötigt, wird das Modell erneut mit den bereits erledigten Teilzielen und den vom Detektor des Agenten gesehenen Objekten gepromptet, und der Low-Level-Planer von HLSM setzt jedes Teilziel in primitive Aktionen um.

Wichtigste Erkenntnisse

Nur der Planer auf hoher Ebene braucht mit Sprache gepaarte Daten; der Low-Level-Planer kann mit im Simulator synthetisierten Daten trainiert werden, sodass Few-Shot-Lernen allein auf den Planer abzielt.
Am wichtigsten ist der dynamische Abruf von In-Context-Beispielen: Ersetzt man den kNN-Retriever durch Zufallsauswahl, sinkt die LOOCV-Genauigkeit der Planung auf hoher Ebene von 40,59 % auf 17,48 %.
Das Hinzufügen beobachteter Objekte zum Prompt lässt das Sprachmodell Namen auf das abbilden, was sich in der Szene befindet (recycle bin auf garbage can, lamp auf desk lamp), und wahrscheinliche Objektpositionen erraten (eine Kartoffel im Kühlschrank, eine Tasse im Schrank).
Prompt-Format und Hyperparameter wurden per Leave-One-Out-Kreuzvalidierung auf denselben 100 Beispielen gewählt, ohne separates Validierungsset (die echte Few-Shot-Bedingung).
End-to-End-Fehlschläge stammen oft aus dem Low-Level-Stack statt aus dem Plan: Heat & Place erreicht 36 % Plangenauigkeit, aber nur 1,8 % Erfolg, weil der Detektor von HLSM die Mikrowelle oft übersieht.

Hauptergebnisse

Mit Zielanweisung und schrittweisen Anweisungen erreicht LLM-Planner + HLSM mit 100 Trainingspaaren eine Erfolgsrate von 15,36 % auf ALFRED valid unseen und 16,42 % auf test unseen.
Mit denselben 100 Paaren neu trainiert, erreichen HLSM und FILM eine Erfolgsrate von 0,00 % auf valid unseen und 0,61 % bzw. 0,20 % auf test unseen.
Mit allen 21.023 Paaren trainiertes HLSM (nur Zielanweisung) erzielt 18,28 % auf valid unseen und 20,27 % auf test unseen; auf test unseen liegt LLM-Planner mit 16,42 % über E.T. (8,57 %), HiTUT (13,87 %) und M-TRACK (16,29 %) mit vollständigen Daten.
Verankertes Neuplanen schlägt statisches Planen in jeder Konfiguration; nur mit Zielanweisungen bringt es auf test unseen 1,83 Prozentpunkte Erfolgsrate mehr (von 11,58 % auf 13,41 %).
Ablation der LOOCV-Plangenauigkeit: vollständiges Modell 40,59 %, ohne kNN-Retriever 17,48 %, ohne Logit-Biases 38,10 %, ohne beides 13,43 %.
Die Plangenauigkeit steigt mit mehr Trainingsbeispielen, mit abnehmendem Ertrag um etwa 250; 9 In-Context-Beispiele sind im Allgemeinen eine gute Wahl.

Einschränkungen

Die Autoren merken an, dass noch viel Raum für Verbesserungen bleibt; der End-to-End-Erfolg liegt noch deutlich unter den besten Methoden mit vollständigen Daten, etwa FILM mit 27,80 % Erfolgsrate auf test unseen.
Der Erfolg ist durch den Low-Level-Planer und den Objektdetektor von HLSM begrenzt, die LLM-Planner unverändert wiederverwendet.
Die Plangenauigkeit in der dynamischen Konfiguration kann nur als Spanne angegeben werden (zum Beispiel 46,59–68,31 % auf valid unseen), weil kein Orakel-Low-Level-Regler verfügbar war.
Nur in der Simulation evaluiert (ALFRED auf AI2-THOR); es gibt keine Experimente mit physischen Robotern.
Hängt von der GPT-3 API ab; andere Sprachmodelle wie Codex, besseres Prompt-Design sowie stärkeres Grounding und Neuplanen bleiben künftiger Arbeit überlassen.

Wirkung auf das Fachgebiet

Die Arbeit hat 583 Zitationen. In der lizenzierten Version werden weder Code noch Daten veröffentlicht; sie verwendet die öffentliche GPT-3 API sowie die offiziellen Codebasen von HLSM und FILM.

Zusammenfassung

Diese Studie konzentriert sich auf verkörperte Agenten, die Anweisungen in natürlicher Sprache folgen können, um komplexe Aufgaben in einer visuell wahrgenommenen Umgebung zu erledigen. Bestehende Methoden stützen sich auf eine große Menge an Paaren (Anweisung, Referenztrajektorie), um eine gute Policy zu lernen. Die hohen Datenkosten und die geringe Sample-Effizienz verhindern die Entwicklung vielseitiger Agenten, die viele Aufgaben beherrschen und neue Aufgaben schnell lernen können. In dieser Arbeit schlagen wir eine neuartige Methode vor, LLM-Planner, die die Leistungsfähigkeit großer Sprachmodelle (LLMs) wie GPT-3 nutzt, um Few-Shot-Planung für verkörperte Agenten durchzuführen. Wir schlagen außerdem einen einfachen, aber wirksamen Weg vor, LLMs um physisches Grounding zu ergänzen, damit sie Pläne erzeugen, die in der aktuellen Umgebung verankert sind. Experimente auf dem ALFRED-Datensatz zeigen, dass unsere Methode eine sehr konkurrenzfähige Few-Shot-Leistung erreichen kann und sogar mehrere aktuelle Baselines übertrifft, die mit den vollständigen Trainingsdaten trainiert wurden, obwohl sie weniger als 0,5 % der gepaarten Trainingsdaten verwendet. Bestehende Methoden können unter derselben Few-Shot-Bedingung kaum eine Aufgabe erfolgreich abschließen. Unsere Arbeit öffnet die Tür für die Entwicklung vielseitiger und sample-effizienter verkörperter Agenten, die viele Aufgaben schnell lernen können.

Open Source Robotics