LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

Autori: Bo Liu, Yifeng Zhu, Chongkai Gao, Yihao Feng, Qiang Liu, Yuke Zhu, Peter Stone · NeurIPS 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

LIBERO è un benchmark simulato di 130 compiti di manipolazione condizionati dal linguaggio con dimostrazioni umane, costruito per studiare come i robot trasferiscono conoscenza dichiarativa e procedurale tra i compiti.

Perché è importante

Poiché tre suite separano la conoscenza spaziale, quella sugli oggetti e quella sugli obiettivi, un calo delle prestazioni può essere ricondotto al tipo di conoscenza che si sta perdendo. Gli esperimenti mettono anche in discussione la prassi comune: gli algoritmi di apprendimento permanente testati hanno avuto un trasferimento in avanti inferiore al semplice fine-tuning sequenziale, e un preaddestramento supervisionato ingenuo poteva danneggiare il successivo apprendimento permanente.

Problema

La ricerca sull'apprendimento permanente ha studiato soprattutto il trasferimento di conoscenza dichiarativa (entità e concetti) in compiti di visione e linguaggio. Il processo decisionale dei robot richiede anche conoscenza procedurale, cioè sapere come agire, e non esisteva un modo per analizzare sistematicamente quale tipo di conoscenza un agente trasferisce o dimentica quando fallisce dopo aver appreso nuovi compiti.

Soluzione proposta

LIBERO genera compiti proceduralmente su robosuite: i template linguistici sono estratti dalle annotazioni delle attività di Ego4D, i file di scena PDDL specificano oggetti, disposizioni e stati iniziali, e gli obiettivi sono congiunzioni di predicati come On(A, B) o Open(X). Sono fornite quattro suite: LIBERO-Spatial, LIBERO-Object e LIBERO-Goal (10 compiti ciascuna, ognuna dedicata a isolare un tipo di conoscenza) e LIBERO-100 (90 compiti a orizzonte breve e 10 a orizzonte lungo), con 50 dimostrazioni teleoperate per compito. Lo studio confronta tre architetture di policy (ResNet-RNN, ResNet-T, ViT-T) e cinque schemi di apprendimento (fine-tuning sequenziale, ER, EWC, PackNet e apprendimento multi-task) addestrati con behavioral cloning.

Idee chiave

• L'architettura della policy conta quanto l'algoritmo di apprendimento permanente: i backbone temporali transformer (ResNet-T, ViT-T) hanno funzionato in media molto meglio di ResNet-RNN.
• Nessun singolo encoder visivo è stato il migliore ovunque: con ER, ResNet-T ha battuto ViT-T su tutte le suite tranne LIBERO-Object, cosa che gli autori collegano alla capacità del ViT di gestire una maggiore varietà di oggetti.
• Tutti e tre gli algoritmi di apprendimento permanente hanno avuto un trasferimento in avanti inferiore al fine-tuning sequenziale; PackNet impedisce la dimenticanza, ma la sua capacità per compito sempre più ridotta lo ha penalizzato su LIBERO-Long.
• Descrizioni dei compiti semanticamente ricche codificate con BERT, CLIP o GPT-2 non hanno dato alcun guadagno statisticamente significativo rispetto agli embedding Task-ID.
• La loss di behavioral cloning (clonazione del comportamento) è un segnale fuorviante per la selezione dei checkpoint; EWC ha avuto talvolta la loss più bassa senza un buon tasso di successo, quindi va usato il tasso di successo.

Risultati principali

• Con ResNet-T, il fine-tuning sequenziale ha avuto il trasferimento in avanti più alto su ogni suite: 0,54 (Long), 0,72 (Spatial), 0,78 (Object) e 0,77 (Goal).
• PackNet ha avuto la dimenticanza più bassa (trasferimento all'indietro negativo di 0,06-0,17) e la migliore AUC su Spatial, Object e Goal (0,63, 0,60, 0,75), ma ER ha avuto la migliore AUC su LIBERO-Long (0,32 contro 0,25).
• EWC è stato il peggiore tra gli algoritmi di apprendimento permanente, con AUC di 0,02 su LIBERO-Long e di 0,06 su Spatial e Goal.
• Su LIBERO-Long con PackNet, ViT-T ha raggiunto un'AUC di 0,34 contro 0,25 di ResNet-T e 0,03 di ResNet-RNN.
• Gli embedding linguistici su LIBERO-Long (ResNet-T con ER) hanno dato un trasferimento in avanti di 0,48 (BERT), 0,52 (CLIP), 0,46 (GPT-2) e 0,50 (Task-ID), senza differenze significative.
• I risultati sono mediati su tre seed, con ogni compito addestrato per 50 epoche su 50 dimostrazioni e valutato su 20 rollout.

Limiti

• Secondo gli autori: gli esperimenti sono uno studio iniziale, che lascia aperte architetture migliori per l'informazione spaziale e temporale, algoritmi con un migliore trasferimento in avanti e un preaddestramento che aiuti l'apprendimento permanente.
• Secondo gli autori: poiché l'apprendista permanente impara principalmente dagli esseri umani, la tutela della privacy degli utenti potrebbe diventare cruciale nel lungo periodo.
• I risultati dipendono dall'ordine dei compiti: le prestazioni di ER e PackNet sono variate tra cinque ordinamenti, e la differenza è stata statisticamente significativa per PackNet.
• Tutti i compiti girano in simulazione su robosuite; l'articolo non riporta esperimenti su robot reali.
• Viene valutato solo il behavioral cloning da dimostrazioni; l'apprendimento per rinforzo è lasciato da parte per la difficoltà delle ricompense sparse.

Impatto sul settore

Citato 607 volte (numero come riportato). L'articolo rilascia la pipeline di generazione procedurale dei compiti, quattro suite per un totale di 130 compiti e dimostrazioni teleoperate da esseri umani per ogni compito, con codice e dataset collegati dal sito del progetto.

Abstract

L'apprendimento permanente (lifelong learning) offre un paradigma promettente per costruire un agente generalista che apprende e si adatta nel corso della sua vita. A differenza dei problemi tradizionali di apprendimento permanente nei domini delle immagini e del testo, che riguardano principalmente il trasferimento di conoscenza dichiarativa su entità e concetti, l'apprendimento permanente nel processo decisionale (LLDM) richiede anche il trasferimento di conoscenza procedurale, come azioni e comportamenti. Per far progredire la ricerca sull'LLDM, presentiamo LIBERO, un nuovo benchmark di apprendimento permanente per la manipolazione robotica. In particolare, LIBERO mette in evidenza cinque temi di ricerca chiave nell'LLDM: 1) come trasferire in modo efficiente conoscenza dichiarativa, conoscenza procedurale o una combinazione di entrambe; 2) come progettare architetture di policy efficaci e 3) algoritmi efficaci per l'LLDM; 4) la robustezza di un apprendista permanente rispetto all'ordine dei compiti; e 5) l'effetto del preaddestramento del modello per l'LLDM. Sviluppiamo una pipeline di generazione procedurale estendibile che in linea di principio può generare infiniti compiti. A fini di benchmarking, creiamo quattro suite di compiti (130 compiti in totale) che usiamo per indagare i temi di ricerca sopra citati. Per supportare un apprendimento efficiente in termini di campioni, forniamo dati di dimostrazione di alta qualità teleoperati da esseri umani per tutti i compiti. I nostri ampi esperimenti presentano diverse scoperte illuminanti o persino inattese: il fine-tuning sequenziale supera i metodi esistenti di apprendimento permanente nel trasferimento in avanti, nessuna singola architettura di encoder visivo eccelle in tutti i tipi di trasferimento di conoscenza, e un preaddestramento supervisionato ingenuo può ostacolare le prestazioni degli agenti nel successivo LLDM. Consultate il sito https://libero-project.github.io per il codice e i dataset.

Link

• arXiv 2306.03310: https://arxiv.org/abs/2306.03310
• DOI https://doi.org/10.52202/075280-1939: https://doi.org/https://doi.org/10.52202/075280-1939
• PDF: https://arxiv.org/pdf/2306.03310v1
• Codice: https://github.com/Lifelong-Robot-Learning/LIBERO
• Pagina del progetto: https://libero-project.github.io/