Foundation models in robotics: Applications, challenges, and the future

Autoren: Roya Firoozi, Johnathan Tucker, Stephen Tian, Anirudha Majumdar, Jiankai Sun, Weiyu Liu, Yuke Zhu, Shuran Song, Ashish Kapoor, Karol Hausman, Brian Ichter, Danny Driess, Jiajun Wu, Cewu Lu, Mac Schwager · The International Journal of Robotics Research (IJRR) 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0.

Kurz gesagt

Überblick über Foundation Models in der Robotik, gegliedert in Entscheidungsfindung und Regelung, Wahrnehmung und Embodied AI, mit acht offenen Herausforderungen zum Abschluss, von Datenknappheit bis zu Sicherheit und Echtzeiteinsatz.

Warum es wichtig ist

Ingenieure, die entscheiden, ob sie in einem Roboter ein LLM, ein VLM oder einen Roboter-Transformer einsetzen, können die Kategorien des Überblicks und seine Tabelle II nutzen, die Parameterzahlen und Inferenzraten auflistet, etwa 1-3 Hz für RT-2 gegenüber 20 Hz für Gato. Der Abschnitt zu den Herausforderungen nennt praktische Einsatzprobleme: reine Cloud-Modelle und Netzwerklatenz, Halluzinationen, kalibrierte Unsicherheit und Sicherheitstests. Die Autoren geben außerdem an, dass viele Ergebnisse zur Entscheidungsfindung schwer vergleichbar sind, weil sie von eigenen Hardware-Stacks oder Simulatoren ohne Physik abhängen.

Problem

Deep-Learning-Modelle in der Robotik wurden meist auf kleinen Datensätzen trainiert, die für eine einzige Aufgabe gesammelt wurden, was ihre Anpassung an neue Aufgaben und Umgebungen einschränkt. Auf Daten im Internetmaßstab vortrainierte Foundation Models haben in Sprache und Bildverarbeitung gut generalisiert, und Robotikforscher haben begonnen, sie in Roboter einzubinden, für Roboter anzupassen oder für Roboter zu entwickeln. Die Arbeiten in diesem Bereich verteilen sich auf Wahrnehmung, Planung und Regelung, ohne eine gemeinsame Übersicht darüber, was versucht wurde und was ungelöst bleibt.

Lösungsansatz

Dies ist ein Überblick, der keine eigene Methode vorschlägt. Er beschränkt seinen Umfang auf Hintergrundarbeiten, Robotikarbeiten (Foundation Models, die per Plug-and-Play eingesetzt, feinabgestimmt oder neu für Roboter entwickelt wurden) und robotiknahe Arbeiten und behandelt den Hintergrund zu Foundation Models, Entscheidungsfindung und Regelung von Robotern (sprachkonditioniertes Imitationslernen, sprachgestütztes RL, Value Learning, Aufgabenplanung und Codegenerierung mit LLMs, In-Context Learning, Roboter-Transformer, Navigation und Manipulation mit offenem Vokabular), Wahrnehmung (Detektion und Segmentierung mit offenem Vokabular, 3D-Szenendarstellung, Affordanzen, prädiktive Modelle) sowie Embodied AI mit ihren Simulatoren. Er schließt mit Herausforderungen und künftigen Richtungen und tabelliert Größe, Inferenzgeschwindigkeit und Trainingshardware robotikspezifischer vortrainierter Modelle.

Wichtigste Erkenntnisse

Der Überblick ordnet Robotikarbeiten drei Arten der Nutzung von Foundation Models zu: Plug-and-Play-Einsatz bestehender Modelle, deren Anpassung oder Feinabstimmung und der Aufbau neuer robotikspezifischer Foundation Models.
Die physischen Fähigkeiten, die aktuelle Roboter-Transformer lernen, sind auf die Verteilung der in den Roboterdaten vorhandenen Fähigkeiten beschränkt; die Autoren schlagen Bewegungsdaten aus Videos von Menschen als einen Weg darüber hinaus vor.
Viele Foundation Models sind nur über Cloud-APIs erreichbar, sodass die Latenz von Netzwerken abhängt, die der Roboter nicht kontrolliert; die Autoren schlagen lokale Rückfall-Autonomie und Destillation in kleinere Modelle an Bord vor.
Für sicherheitskritische Roboter argumentieren die Autoren, dass Unsicherheitsschätzungen im frequentistischen Sinn kalibriert sein müssen, und stellen die Nutzung von Conformal Prediction in KnowNo als Fallstudie vor.
Simulatoren ohne Physik wie Gibson, Habitat, RoboTHOR und VirtualHome tauschen Low-Level-Physik gegen visuelle Wiedergabetreue, was die Autoren mit einer großen Sim-to-Real-Lücke und schlechter Reproduzierbarkeit in Verbindung bringen.

Hauptergebnisse

Als Überblick berichtet er keine eigenen Experimente; sein Literaturverzeichnis umfasst 233 Einträge aus Hintergrund-, Robotik- und robotiknahen Arbeiten.
Tabelle II listet robotikspezifische vortrainierte Modelle mit Größe und Inferenzrate auf, zum Beispiel RT-1 mit 35M Parametern und 3 Hz, RT-2 und RT-2-X mit 55B Parametern und 1-3 Hz auf einem Cloud-Dienst mit mehreren TPUs, Gato mit 1.2B und 20 Hz sowie ViNT mit 31M und 4 Hz.
Dieselbe Tabelle führt PACT (12M Parameter) mit 10 Hz auf einem Nvidia Xavier NX Edge-Computer und 50 Hz auf 8 Nvidia V100 GPUs sowie PaLM-E-562B mit Sprach-Teilzielen bei 1 Hz plus Low-Level-Regelung bei 5 Hz.
Laut dem Überblick wurde RT-1 auf über 130k realen Roboterepisoden trainiert, die mehr als 700 Aufgaben abdecken und über 17 Monate mit 13 Robotern gesammelt wurden.
Laut dem Überblick kombiniert der RT-X-Datensatz Daten von 22 Robotern und 21 Institutionen und deckt 527 Fähigkeiten (160.266 Aufgaben) ab.
Er nennt acht Problemfelder: Datenknappheit, Echtzeitleistung, Grenzen multimodaler Repräsentation, Unsicherheitsquantifizierung, Sicherheitsbewertung, Plug-and-Play gegenüber dem Aufbau neuer Modelle, hohe Variabilität in Robotikumgebungen sowie Benchmarking und Reproduzierbarkeit.

Einschränkungen

Die Autoren bezeichnen diese Fassung als vorläufige Veröffentlichung, die sie aktualisieren wollen; sie bildet das Feld mit Stand Dezember 2023 ab.
Der Umfang ist auf drei Kategorien von Arbeiten (Hintergrund, Robotik, robotiknah) beschränkt, und die Autoren weisen auf einen viel engeren Umfang als bei breiteren Überblicken zu Foundation Models hin.
Die Autoren geben an, dass Arbeiten im Abschnitt zur Entscheidungsfindung schwerer zu bewerten und zu vergleichen sind als jene in den Abschnitten zu Wahrnehmung oder Embodied AI, weil sie auf eigenen Hardware-Stacks oder Simulatoren ohne Physik beruhen.
Tabelle II hat leere Felder, wo die Quellarbeiten keine Daten angeben, sodass Inferenzgeschwindigkeit und Hardware nicht für jedes Modell verfügbar sind.

Wirkung auf das Fachgebiet

Der Überblick hat 471 Zitierungen. Begleitend haben die Autoren ein GitHub-Projekt veröffentlicht, Awesome-Robotics-Foundation-Models, das sie als vorläufige Veröffentlichung beschreiben, die sie fortlaufend aktualisieren wollen.

Zusammenfassung

Wir geben einen Überblick über Anwendungen vortrainierter Foundation Models in der Robotik. Herkömmliche Deep-Learning-Modelle in der Robotik werden auf kleinen, auf bestimmte Aufgaben zugeschnittenen Datensätzen trainiert, was ihre Anpassungsfähigkeit über verschiedene Anwendungen hinweg einschränkt. Im Gegensatz dazu scheinen auf Daten im Internetmaßstab vortrainierte Foundation Models überlegene Generalisierungsfähigkeiten zu besitzen und zeigen in manchen Fällen eine emergente Fähigkeit, Zero-Shot-Lösungen für Probleme zu finden, die in den Trainingsdaten nicht vorkommen. Foundation Models könnten das Potenzial haben, verschiedene Komponenten des Autonomie-Stacks eines Roboters zu verbessern, von der Wahrnehmung bis zur Entscheidungsfindung und Regelung. So können große Sprachmodelle Code erzeugen oder Alltagswissen für Schlussfolgerungen liefern, während Vision-Language-Modelle eine visuelle Erkennung mit offenem Vokabular ermöglichen. Es bleiben jedoch erhebliche offene Forschungsfragen, insbesondere hinsichtlich der Knappheit robotikrelevanter Trainingsdaten, Sicherheitsgarantien und Unsicherheitsquantifizierung sowie der Ausführung in Echtzeit. In diesem Überblick untersuchen wir aktuelle Arbeiten, die Foundation Models zur Lösung von Robotikproblemen verwendet oder entwickelt haben. Wir untersuchen, wie Foundation Models zur Verbesserung der Fähigkeiten von Robotern in den Bereichen Wahrnehmung, Entscheidungsfindung und Regelung beitragen. Wir diskutieren die Herausforderungen, die die Einführung von Foundation Models in die Roboterautonomie behindern, und zeigen Chancen und mögliche Wege für künftige Fortschritte auf. Das zu diesem Paper gehörende GitHub-Projekt (vorläufige Veröffentlichung. Wir verpflichten uns, diese Arbeit weiter zu verbessern und zu aktualisieren, um ihre Qualität und Relevanz sicherzustellen) ist hier zu finden: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models

Open Source Robotics