Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

Autoren: Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar · CoRL 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

KnowNo formuliert LLM-Planung als Multiple Choice und wendet Conformal Prediction an, sodass der Roboter nur dann um Hilfe bittet, wenn mehr als eine Option übrig bleibt, bei einem vom Nutzer festgelegten Erfolgsniveau.

Warum es wichtig ist

Der Nutzer legt ein Ziel-Erfolgsniveau 1−ϵ fest, und die Methode garantiert unter der Annahme korrekter menschlicher Hilfe mit hoher Wahrscheinlichkeit die Aufgabenerfüllung auf diesem Niveau, während die mittlere Vorhersagemenge klein bleibt. Sie funktioniert mit handelsüblichen LLMs ohne Fine-Tuning, und die Abdeckungsgarantie gilt unabhängig davon, ob die Konfidenzen des LLM gut kalibriert sind.

Problem

LLM-Planer können selbstsicher halluzinieren, und Anweisungen in natürlicher Sprache sind oft mehrdeutig, sodass ein Roboter, der einem falschen Plan folgt, unsicher handeln kann, etwa indem er eine Metallschüssel in eine Mikrowelle stellt. Frühere LLM-Planer fragen entweder nie nach oder stützen sich auf umfangreiches Prompting, und keiner bietet eine Möglichkeit sicherzustellen, dass das Bitten um Hilfe ein gewünschtes Niveau an Aufgabenerfolg ergibt.

Lösungsansatz

Das LLM erzeugt zunächst mit A–D beschriftete Kandidaten für den nächsten Schritt, eine Option 'E) eine hier nicht aufgeführte Option' wird angehängt, und das LLM bewertet die Optionen dann als Multiple-Choice-Frage über die Wahrscheinlichkeiten des nächsten Tokens. Conformal Prediction, kalibriert auf 400 i.i.d.-Szenarien, legt eine Konfidenzschwelle fest; Optionen darüber bilden die Vorhersagemenge, und der Roboter führt eine einzige verbleibende Option aus oder bittet andernfalls einen Menschen um die Wahl. Eine Kalibrierung auf Sequenzebene erweitert die Garantie auf mehrstufige Planung, und eine weitere Erweiterung behandelt Schritte mit mehreren zulässigen Optionen.

Wichtigste Erkenntnisse

Planung als Multiple-Choice-Q&A zu formulieren, beseitigt die Längenverzerrung roher Sequenzwahrscheinlichkeiten; Conformal Prediction auf rohen oder perplexitätsnormierten Satzwerten ergab in allen drei simulierten Mehrdeutigkeitsszenarien größere Vorhersagemengen und mehr Hilfe.
Die Abdeckungsgarantie der Conformal Prediction wird zu einer Garantie der Aufgabenerfüllung, wenn der Roboter immer dann um Hilfe bittet, wenn die Vorhersagemenge mehr als eine Option enthält.
Die Kalibrierung auf ganzen Sequenzen, bewertet nach der niedrigsten Konfidenz pro Schritt, erlaubt es, Vorhersagemengen zur Testzeit Schritt für Schritt aufzubauen und dennoch eine Garantie über den gesamten Plan zu behalten.
Die Garantie macht keine Annahme über die Kalibrierung des LLM: Mit GPT-3.5, das eine Neigung zu den Optionen D und E zeigte, erreichte KnowNo das Ziel dennoch, indem es mehr menschliche Hilfe anforderte.
Eine Ensemble-Baseline kann mit wenig Hilfe hohen Erfolg erreichen, benötigt aber die 20× Inferenzzeit und weist der richtigen Option manchmal die Wahrscheinlichkeit null zu.

Hauptergebnisse

Über simulierte und Hardware-Szenarien hinweg erreichte KnowNo das vom Nutzer vorgegebene Niveau der Aufgabenerfüllung und reduzierte die menschliche Hilfe gegenüber Baselines um 10–24 %.
Simulierte Umordnung auf dem Tisch in PyBullet (ϵ = 0,15): KnowNo wich über Attribut-, Zahl- und räumliche Mehrdeutigkeit hinweg am wenigsten von der Ziel-Erfolgsrate ab und benötigte bei manchen Erfolgsniveaus bis zu 24 % weniger Hilfe als Simple Set.
Mehrstufiges Sortieren auf Hardware mit einem UR5 (ϵ = 0,25, 50 Versuche): Aufgabenerfolg 0,74, Mengengröße 1,72, Hilfe pro Schritt 0,58 und Hilfe pro Versuch 0,92, gegenüber 0,72, 2,04, 0,72 und 1,00 für Simple Set bei gleichem Planerfolg von 0,76; No Help erreichte 0,38 Aufgabenerfolg.
Mobile Manipulation auf Hardware in einer Büroküche (ϵ = 0,15): Planerfolg 0,87, Aufgabenerfolg 0,76, Mengengröße 2,22 und Hilferate 0,67, gegenüber 0,75, 2,38 und 0,81 für Simple Set; No Help erreichte 0,62 Plan- und 0,51 Aufgabenerfolg.
Zweiarmiger Aufbau mit Kuka IIWA 7 und durchweg mehrdeutigen Anweisungen (ϵ = 0,15): 84 % Planerfolg bei 92 % Hilfe; auf Hardware war der Roboter in 9 von 10 Versuchen erfolgreich und bat 9-mal um Hilfe.
Mit demselben ϵ = 0,25 auf der UR5-Aufgabe wurde Simple Set übervorsichtig, mit einer Hilferate pro Schritt von 87 %.

Einschränkungen

Laut den Autoren: Die Garantie der Aufgabenerfüllung setzt voraus, dass die Umgebung vollständig in der Texteingabe an das LLM abgebildet ist und dass die vom LLM vorgeschlagenen Aktionen erfolgreich ausgeführt werden.
Die Unsicherheit von Wahrnehmung und Low-Level-Policy ist nicht Teil der Kalibrierung; auf dem mobilen Manipulator lag der Erfolg der Low-Level-Aktionen bei etwa 86 %, was Lücken zwischen Plan- und Aufgabenerfolg verursachte.
Die Methode benötigt eine gelabelte Kalibrierungsmenge aus i.i.d.-Szenarien (400 wurden verwendet), gezogen aus derselben Verteilung wie die Testszenarien.
Die Garantie setzt voraus, dass der Mensch korrekte Hilfe gibt, und der Roboter scheitert, wenn die richtige Option nicht in der Vorhersagemenge liegt.
GPT-3.5 (text-davinci-003) zeigte bei Multiple Choice eine starke Positionsverzerrung, die die Leistung senkte und die benötigte Hilfe erhöhte.

Wirkung auf das Fachgebiet

Gewinner des CoRL 2023 Best Student Paper Award; 515-mal zitiert (Zahl wie angegeben). Die offizielle Projektseite verlinkt den Code im google-research-Repository, und das Paper verweist für die Prompts auf die Projektwebsite.

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen ein breites Spektrum vielversprechender Fähigkeiten, von schrittweiser Planung bis zu Alltagsschlussfolgern, die für Roboter nützlich sein können, neigen aber weiterhin zu selbstsicher halluzinierten Vorhersagen. In dieser Arbeit stellen wir KnowNo vor, ein Framework zur Messung und Ausrichtung der Unsicherheit LLM-basierter Planer, sodass sie wissen, wann sie etwas nicht wissen, und bei Bedarf um Hilfe bitten. KnowNo baut auf der Theorie der Conformal Prediction auf, um statistische Garantien für die Aufgabenerfüllung zu geben und dabei menschliche Hilfe in komplexen mehrstufigen Planungsszenarien zu minimieren. Experimente in einer Vielzahl simulierter und realer Roboteraufbauten mit Aufgaben unterschiedlicher Arten von Mehrdeutigkeit (z. B. von räumlichen bis zu numerischen Unsicherheiten, von menschlichen Präferenzen bis zu Winograd-Schemata) zeigen, dass KnowNo gegenüber modernen Baselines (die Ensembles oder umfangreiches Prompt-Tuning beinhalten können) bei der Verbesserung von Effizienz und Autonomie günstig abschneidet und zugleich formale Zusicherungen bietet. KnowNo kann ohne Modell-Fine-Tuning direkt mit LLMs verwendet werden und weist auf einen vielversprechenden, leichtgewichtigen Ansatz zur Modellierung von Unsicherheit hin, der die wachsenden Fähigkeiten von Foundation Models ergänzen und mit ihnen skalieren kann. Website: https://robot-help.github.io

Open Source Robotics