Multi-Task Reinforcement Learning
- Detto anche: multi-task RL, MTRL
- Categoria: Learning & autonomy › RL & simulation
- Tag: reinforcement-learning, multi-task, transfer-learning, manipulation, robot-learning
Apprendimento per rinforzo che addestra un'unica policy, condizionata a un identificatore o a una descrizione del task, a ottenere buone prestazioni su un insieme fisso di task contemporaneamente.
Definizione
L'apprendimento per rinforzo multi-task (multi-task reinforcement learning) addestra un unico agente a risolvere più task invece di addestrare un agente separato per ciascuno. La policy è di solito condizionata al task: riceve, insieme allo stato, un identificatore di task one-hot, un obiettivo, un'istruzione in linguaggio naturale o un'altra descrizione del task, e l'obiettivo è il ritorno atteso medio sull'insieme dei task. La speranza è che i task condividano una struttura, come il modo di muovere il braccio o di afferrare una maniglia, così che l'esperienza su un task aiuti gli altri e la policy condivisa richieda meno dati di quanti ne richiederebbero i task presi isolatamente.
In pratica, la condivisione può anche nuocere. I task possono richiedere comportamenti in conflitto, le loro ricompense possono differire molto di scala e gli aggiornamenti del gradiente di un task possono annullare i progressi su un altro, un problema noto come trasferimento negativo o interferenza dei gradienti. I rimedi comuni includono normalizzare i ritorni o usare teste di valore separate per task, correggere i gradienti affinché i task non entrino in conflitto, instradare i task attraverso moduli di rete in parte separati, bilanciare la frequenza con cui ciascun task viene campionato e distillare policy esperte addestrate separatamente in un'unica policy studente. L'apprendimento condizionato all'obiettivo è un caso particolare in cui i task differiscono solo per l'obiettivo e condividono la stessa struttura di ricompensa.
L'RL multi-task si distingue dal meta-apprendimento per rinforzo. L'RL multi-task viene valutato sui task su cui è stato addestrato, di solito con l'identità del task nota; il meta-RL viene valutato in base alla rapidità con cui si adatta a nuovi task estratti dalla stessa distribuzione. Benchmark come Meta-World offrono entrambi gli scenari sugli stessi task di manipolazione, il che rende concreta la differenza. L'addestramento multi-task è anche un elemento costitutivo di policy robotiche più grandi addestrate su molti task a partire da dati di dimostrazione, anche se queste vengono di solito addestrate per imitazione e non con l'apprendimento per rinforzo.
Perché è importante
I robot utili hanno bisogno di molte abilità, e addestrare e mantenere una policy per ogni abilità non è scalabile. L'RL multi-task è la via dell'apprendimento per rinforzo verso un unico controllore che copra molti comportamenti, e capire dove la condivisione aiuta e dove causa interferenze è essenziale nella progettazione di questi sistemi.
Applicazioni principali
- Policy uniche per molte abilità di manipolazione su tavolo
- Controllori robotici condizionati dal linguaggio o dall'obiettivo
- Distillazione di più policy esperte in un'unica rete distribuibile
- Policy di locomozione condivise tra andature, velocità o terreni
- Valutazione del trasferimento e dell'interferenza tra task
In pratica
Un gruppo vuole un'unica policy capace di aprire cassetti, premere pulsanti e girare rubinetti con un braccio su un tavolo. Addestra in simulazione un agente SAC condizionato al task, con un vettore di task one-hot aggiunto all'osservazione. Le prime esecuzioni mostrano la policy che padroneggia due task e ignora gli altri, perché le loro ricompense sono più grandi e dominano gli aggiornamenti. Il gruppo aggiunge una temperatura appresa separata per ogni task, campiona i task in modo uniforme in ogni batch e monitora il successo per task invece della sola media, il che fa migliorare i task più deboli senza rallentare quelli più forti.
Idee sbagliate comuni
- Addestrare su più task aiuta sempre ogni task — i task in conflitto possono interferire, e una policy multi-task può fare peggio su alcuni task rispetto all'addestramento su un singolo task
- L'RL multi-task produce un agente che si adatta a nuovi task — viene valutato sui suoi task di addestramento; l'adattamento rapido a task mai visti è l'obiettivo del meta-RL
- Il ritorno medio sui task mostra quanto bene funziona la policy — una media alta può nascondere task che la policy non è riuscita ad apprendere, quindi va riportato il successo per singolo task
Chi dovrebbe saperlo
- Ricercatori di apprendimento robotico che sviluppano policy generaliste
- Ingegneri di apprendimento per rinforzo che addestrano su suite di task
- Ingegneri della manipolazione che progettano il condizionamento al task
- Studenti che confrontano apprendimento multi-task, meta-apprendimento e apprendimento permanente
Tecnologie correlate
- Meta-World
- Distillazione di policy (Policy Distillation)
- Gradient Surgery (PCGrad)
- Soft Actor-Critic
- Embedding dei task (Task Embeddings)
Termini correlati
- Meta-Reinforcement Learning
- Goal-Conditioned Policy
- Reinforcement Learning
- Soft Actor-Critic
- Lifelong Robot Learning
- Curriculum Learning
Progetti correlati
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim