Lifelong Robot Learning
- Detto anche: continual robot learning, lifelong learning
- Categoria: Learning & autonomy › Learning from demonstration
- Tag: continual-learning, robot-learning, catastrophic-forgetting, transfer-learning, imitation-learning
Un contesto di apprendimento in cui un robot acquisisce nel tempo una sequenza di compiti con un unico modello, con l'obiettivo di conservare le abilità precedenti e riusarle per imparare più in fretta i compiti nuovi.
Definizione
Apprendimento robotico permanente (lifelong robot learning) studia robot che continuano a imparare, un compito dopo l'altro, anziché essere addestrati una sola volta su un dataset fisso. Sebastian Thrun e Tom Mitchell usarono il termine a metà degli anni Novanta, sostenendo che un robot alle prese con molti compiti correlati dovrebbe portare la conoscenza dei compiti precedenti in quelli successivi e quindi aver bisogno di meno esempi per ciascuno. Nella formulazione moderna rigorosa, un'unica policy impara i compiti in sequenza e perde l'accesso ai dati dei compiti precedenti mentre ne impara uno nuovo.
La difficoltà centrale è l'oblio catastrofico: addestrare una rete neurale su dati nuovi modifica i pesi su cui si basavano i compiti precedenti, e le prestazioni su quei compiti calano. I metodi rientrano in tre grandi famiglie. Il replay conserva un piccolo buffer di dimostrazioni o esperienze precedenti e lo mescola all'addestramento. La regolarizzazione penalizza le modifiche ai parametri che contavano per i compiti precedenti, come nella elastic weight consolidation. I metodi architetturali danno a ogni compito i propri parametri o sottoreti, come in PackNet, oppure aggiungono nuovi moduli nel tempo. I risultati si riportano con il trasferimento in avanti (se l'apprendimento passato accelera i compiti nuovi), il trasferimento all'indietro (se il nuovo apprendimento danneggia o aiuta i compiti vecchi, con valori negativi che indicano oblio) e il successo complessivo su tutti i compiti visti fino a quel momento.
La robotica rende il problema insieme più difficile e più promettente. I dati robotici sono costosi, quindi il riuso conta, e i compiti condividono oggetti, scene e movimenti, quindi c'è molto da trasferire. Benchmark come LIBERO forniscono suite di compiti di manipolazione generate proceduralmente, pensate per separare il trasferimento di conoscenza su oggetti e disposizioni spaziali dal trasferimento di comportamenti. L'apprendimento permanente si distingue dall'apprendimento multi-task, in cui tutti i compiti sono disponibili insieme, e dal fine-tuning di un modello preaddestrato su un singolo compito nuovo, che può anch'esso erodere le capacità precedenti.
Perché è importante
I robot nelle case, nei magazzini e nei laboratori incontrano compiti nuovi dopo essere stati messi in servizio. Riaddestrare ogni volta da zero su tutti i dati è costoso, e i dati vecchi potrebbero non essere conservati. I metodi di apprendimento permanente decidono se un robot può aggiungere una nuova abilità senza perderne silenziosamente una vecchia.
Applicazioni principali
- Robot di servizio e domestici che imparano nuove faccende dopo la messa in servizio
- Estensione delle policy di manipolazione a nuovi oggetti e utensili
- Adattamento di una flotta di robot in servizio a nuovi siti e layout
- Benchmark dell'apprendimento per imitazione continuo su suite di compiti
- Aggiunta nel tempo di abilità a policy condizionate dal linguaggio
In pratica
Un team mantiene una policy di manipolazione che acquisisce nuovi compiti da dimostrazioni in teleoperazione ogni poche settimane. A ogni aggiornamento addestra sulle nuove dimostrazioni più un buffer di replay che contiene una frazione delle dimostrazioni precedenti, poi ripete la valutazione di ogni compito già appreso prima del rilascio. Tiene una matrice dei tassi di successo per compito e fase di addestramento; se un compito precedente peggiora, aumenta la quota di replay o congela parti della rete. La stessa matrice mostra il trasferimento in avanti, confrontando la rapidità con cui si imparano i compiti nuovi con quella di una policy addestrata da zero.
Idee sbagliate comuni
- L'apprendimento permanente è solo fine-tuning su ogni compito nuovo — il fine-tuning sequenziale ingenuo è la baseline che di solito dimentica i compiti precedenti; i metodi di apprendimento permanente esistono per evitarlo
- Conservare tutti i dati vecchi risolve il problema — evita l'oblio, ma il costo cresce con ogni compito, e il contesto rigoroso presuppone che i dati precedenti siano limitati o non disponibili
- L'apprendimento permanente è la stessa cosa dell'apprendimento multi-task — l'apprendimento multi-task addestra su tutti i compiti insieme, mentre l'apprendimento permanente li vede uno dopo l'altro
- Evitare l'oblio è l'intero obiettivo — il trasferimento in avanti, in cui i compiti passati rendono più rapido imparare quelli nuovi, ne fa parte in egual misura
Chi dovrebbe saperlo
- Ricercatori di robot learning che lavorano su apprendimento per imitazione e apprendimento per rinforzo
- Ingegneri di machine learning che mantengono policy su robot in servizio
- Sviluppatori di robot di servizio che pianificano come i robot acquisiscono nuove abilità
- Ricercatori che progettano benchmark di robot learning
Tecnologie correlate
- Apprendimento continuo (Continual Learning)
- Elastic Weight Consolidation
- Experience Replay
- Apprendimento multi-task (Multitask Learning)
- Transfer learning (Transfer Learning)
- LIBERO
Termini correlati
- Imitation Learning
- Behavior Cloning
- Curriculum Learning
- Goal-Conditioned Policy
- Foundation Model
- Reinforcement Learning
Progetti correlati
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
- OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
- Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.