LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

Autoren: Bo Liu, Yifeng Zhu, Chongkai Gao, Yihao Feng, Qiang Liu, Yuke Zhu, Peter Stone · NeurIPS 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

LIBERO ist ein simulierter Benchmark aus 130 sprachkonditionierten Manipulationsaufgaben mit menschlichen Demonstrationen, gebaut, um zu untersuchen, wie Roboter deklaratives und prozedurales Wissen über Aufgaben hinweg übertragen.

Warum es wichtig ist

Da drei Suiten räumliches, objektbezogenes und zielbezogenes Wissen trennen, lässt sich ein Leistungsabfall auf die Art des verlorenen Wissens zurückführen. Die Experimente stellen auch gängige Praxis in Frage: Die getesteten Algorithmen für lebenslanges Lernen hatten einen geringeren Vorwärtstransfer als einfaches sequenzielles Fine-Tuning, und naives überwachtes Pretraining konnte späteres lebenslanges Lernen beeinträchtigen.

Problem

Die Forschung zum lebenslangen Lernen hat vor allem die Übertragung deklarativen Wissens (Entitäten und Konzepte) in Bild- und Sprachaufgaben untersucht. Robotische Entscheidungsfindung braucht auch prozedurales Wissen, also zu wissen, wie zu handeln ist, und es gab keine Möglichkeit, systematisch zu analysieren, welche Art von Wissen ein Agent überträgt oder vergisst, wenn er nach dem Lernen neuer Aufgaben scheitert.

Lösungsansatz

LIBERO erzeugt Aufgaben prozedural auf Basis von robosuite: Sprachvorlagen werden aus Ego4D-Aktivitätsannotationen extrahiert, PDDL-Szenendateien legen Objekte, Anordnungen und Anfangszustände fest, und Ziele sind Konjunktionen von Prädikaten wie On(A, B) oder Open(X). Es gibt vier Suiten: LIBERO-Spatial, LIBERO-Object und LIBERO-Goal (je 10 Aufgaben, die jeweils eine Art von Wissen isolieren) sowie LIBERO-100 (90 Aufgaben mit kurzem und 10 mit langem Horizont), mit 50 teleoperierten Demonstrationen pro Aufgabe. Die Studie vergleicht drei Policy-Architekturen (ResNet-RNN, ResNet-T, ViT-T) und fünf Lernschemata (sequenzielles Fine-Tuning, ER, EWC, PackNet und Multitask-Lernen), trainiert mit Behavioral Cloning.

Wichtigste Erkenntnisse

Die Policy-Architektur ist ebenso wichtig wie der Algorithmus für lebenslanges Lernen: Transformer-Backbones für die Zeitdimension (ResNet-T, ViT-T) funktionierten im Mittel deutlich besser als ResNet-RNN.
Kein einzelner visueller Encoder war überall der beste: Mit ER schlug ResNet-T den ViT-T auf allen Suiten außer LIBERO-Object, was die Autoren darauf zurückführen, dass der ViT mit größerer Objektvielfalt umgehen kann.
Alle drei Algorithmen für lebenslanges Lernen hatten einen geringeren Vorwärtstransfer als sequenzielles Fine-Tuning; PackNet verhindert Vergessen, doch seine schrumpfende Kapazität pro Aufgabe schadete ihm auf LIBERO-Long.
Semantisch reichhaltige Aufgabenbeschreibungen, codiert mit BERT, CLIP oder GPT-2, brachten keinen statistisch signifikanten Gewinn gegenüber Task-ID-Embeddings.
Der Verlust des Behavioral Cloning ist ein irreführendes Signal für die Checkpoint-Auswahl; EWC hatte teils den niedrigsten Verlust ohne gute Erfolgsrate, daher sollte die Erfolgsrate verwendet werden.

Hauptergebnisse

Mit ResNet-T hatte sequenzielles Fine-Tuning auf jeder Suite den höchsten Vorwärtstransfer: 0,54 (Long), 0,72 (Spatial), 0,78 (Object) und 0,77 (Goal).
PackNet hatte das geringste Vergessen (negativer Rückwärtstransfer 0,06–0,17) und die beste AUC auf Spatial, Object und Goal (0,63, 0,60, 0,75), doch ER hatte die beste AUC auf LIBERO-Long (0,32 gegenüber 0,25).
EWC schnitt unter den Algorithmen für lebenslanges Lernen am schlechtesten ab, mit einer AUC von 0,02 auf LIBERO-Long und 0,06 auf Spatial und Goal.
Auf LIBERO-Long mit PackNet erreichte ViT-T eine AUC von 0,34 gegenüber 0,25 für ResNet-T und 0,03 für ResNet-RNN.
Sprach-Embeddings auf LIBERO-Long (ResNet-T mit ER) ergaben einen Vorwärtstransfer von 0,48 (BERT), 0,52 (CLIP), 0,46 (GPT-2) und 0,50 (Task-ID), ohne signifikanten Unterschied.
Die Ergebnisse sind über drei Seeds gemittelt; jede Aufgabe wurde 50 Epochen lang auf 50 Demonstrationen trainiert und über 20 Rollouts ausgewertet.

Einschränkungen

Laut den Autoren: Die Experimente sind eine erste Studie; offen bleiben bessere Architekturen für räumliche und zeitliche Information, Algorithmen mit besserem Vorwärtstransfer und ein Pretraining, das lebenslangem Lernen hilft.
Laut den Autoren: Da der lebenslang Lernende hauptsächlich von Menschen lernt, kann der Schutz der Privatsphäre der Nutzer langfristig entscheidend werden.
Die Ergebnisse hängen von der Aufgabenreihenfolge ab: Die Leistung von ER und PackNet schwankte über fünf Reihenfolgen, und für PackNet war der Unterschied statistisch signifikant.
Alle Aufgaben laufen in der Simulation auf robosuite; das Paper berichtet keine Experimente mit realen Robotern.
Nur Behavioral Cloning aus Demonstrationen wird verglichen; Reinforcement Learning wird wegen der Schwierigkeit spärlicher Belohnungen ausgeklammert.

Wirkung auf das Fachgebiet

607-mal zitiert (Zahl wie angegeben). Das Paper veröffentlicht die Pipeline zur prozeduralen Aufgabengenerierung, vier Aufgabensuiten mit insgesamt 130 Aufgaben und von Menschen teleoperierte Demonstrationen für jede Aufgabe, wobei Code und Datensätze auf der Projektwebsite verlinkt sind.

Zusammenfassung

Lebenslanges Lernen bietet ein vielversprechendes Paradigma für den Aufbau eines generalistischen Agenten, der über seine Lebensdauer hinweg lernt und sich anpasst. Anders als traditionelle Probleme des lebenslangen Lernens in Bild- und Textdomänen, die vor allem die Übertragung deklarativen Wissens über Entitäten und Konzepte betreffen, erfordert lebenslanges Lernen im Entscheiden (LLDM) auch die Übertragung prozeduralen Wissens, etwa von Aktionen und Verhaltensweisen. Um die Forschung zu LLDM voranzubringen, stellen wir LIBERO vor, einen neuartigen Benchmark für lebenslanges Lernen in der Robotermanipulation. Konkret hebt LIBERO fünf zentrale Forschungsthemen in LLDM hervor: 1) wie deklaratives Wissen, prozedurales Wissen oder eine Mischung aus beiden effizient übertragen werden kann; 2) wie effektive Policy-Architekturen und 3) effektive Algorithmen für LLDM zu gestalten sind; 4) die Robustheit eines lebenslang Lernenden gegenüber der Aufgabenreihenfolge; und 5) die Wirkung von Modell-Pretraining auf LLDM. Wir entwickeln eine erweiterbare Pipeline zur prozeduralen Generierung, die im Prinzip unendlich viele Aufgaben erzeugen kann. Für Benchmarking-Zwecke erstellen wir vier Aufgabensuiten (insgesamt 130 Aufgaben), mit denen wir die oben genannten Forschungsthemen untersuchen. Zur Unterstützung von stichprobeneffizientem Lernen stellen wir für alle Aufgaben hochwertige, von Menschen teleoperierte Demonstrationsdaten bereit. Unsere umfangreichen Experimente liefern mehrere aufschlussreiche oder sogar unerwartete Erkenntnisse: Sequenzielles Fine-Tuning übertrifft bestehende Methoden des lebenslangen Lernens beim Vorwärtstransfer, keine einzelne Architektur eines visuellen Encoders glänzt bei allen Arten des Wissenstransfers, und naives überwachtes Pretraining kann die Leistung von Agenten im anschließenden LLDM beeinträchtigen. Code und Datensätze finden sich auf der Website https://libero-project.github.io.

Open Source Robotics