Goal-Conditioned Policy
- Detto anche: goal-conditioned RL, goal-conditioned reinforcement learning, GCRL, goal-conditioned imitation learning
- Categoria: Learning & autonomy › RL & simulation
- Tag: reinforcement-learning, imitation-learning, robot-learning, navigation, multi-task-learning
Una policy di controllo che riceve un obiettivo come input aggiuntivo insieme alle sue osservazioni, così che un unico modello appreso possa raggiungere molti obiettivi diversi invece di essere addestrato per un solo compito.
Definizione
Policy condizionate all'obiettivo (goal-conditioned policies) scelgono le azioni in base sia all'osservazione corrente sia a un obiettivo specificato, cosa che si scrive π(a | s, g). Una policy standard impara a fare una sola cosa; una policy condizionata all'obiettivo impara una famiglia di comportamenti indicizzata dall'obiettivo. La stessa rete può portare un robot in molti luoghi, collocare un oggetto in molte pose o raggiungere qualsiasi immagine obiettivo le venga data.
Gli obiettivi possono assumere molte forme: una posizione o una posa obiettivo, una configurazione dei giunti desiderata, un'immagine di come dovrebbe apparire la scena o un'istruzione in linguaggio naturale. Nella navigazione sono comuni gli obiettivi dati come immagine: al robot viene mostrata la foto di un luogo e deve raggiungerlo. Nella manipolazione, gli obiettivi sono spesso pose obiettivo degli oggetti o immagini della disposizione desiderata.
Nell'apprendimento per rinforzo, il condizionamento all'obiettivo viene formalizzato tramite funzioni di valore condizionate all'obiettivo, come gli approssimatori universali di funzioni di valore, che stimano quanto bene il robot possa raggiungere ciascun obiettivo da ciascuno stato. Una difficoltà pratica è che le ricompense per il raggiungimento di uno specifico obiettivo sono rare. L'hindsight experience replay affronta il problema rietichettando un tentativo fallito come un successo per l'obiettivo effettivamente raggiunto, trasformando ogni traiettoria in dati di addestramento utili.
Il condizionamento all'obiettivo è centrale anche nell'apprendimento per imitazione da grandi dataset. Dimostrazioni o sessioni di gioco libero registrate (play) possono essere rietichettate con obiettivi presi da istanti successivi della stessa traiettoria, così che un unico dataset insegni alla policy a raggiungere molti risultati. Le policy condizionate all'obiettivo sono spesso combinate con pianificatori o mappe che forniscono una sequenza di obiettivi intermedi, permettendo a una policy a orizzonte breve di portare a termine compiti a orizzonte lungo.
Perché è importante
Le policy condizionate all'obiettivo permettono a un modello di servire molti compiti, il che sfrutta meglio i costosi dati robotici e offre ai pianificatori un'abilità di basso livello riutilizzabile da richiamare. Sono un'interfaccia comune tra la specifica dei compiti ad alto livello e il controllo appreso.
Applicazioni principali
- Navigazione verso obiettivi dati come immagine o come posizione
- Manipolazione multi-compito in cui varia la posa obiettivo o la disposizione dell'oggetto
- Compiti di raggiungimento e spinta addestrati con rietichettatura a posteriori
- Abilità di basso livello richiamate dai pianificatori nei sistemi gerarchici
In pratica
Un team di navigazione potrebbe addestrare una policy che riceve l'immagine corrente della telecamera e un'immagine del luogo obiettivo e produce comandi di velocità. I dati di addestramento provengono da percorsi registrati del robot, in cui i fotogrammi successivi della stessa esecuzione vengono usati come obiettivi per quelli precedenti. In fase di impiego, una mappa topologica o un pianificatore fornisce una sequenza di immagini di sotto-obiettivi, e la policy guida il robot verso ciascuna di esse a turno. I team misurano il successo su obiettivi tenuti da parte e non solo su quelli visti in addestramento.
Idee sbagliate comuni
- Una policy condizionata all'obiettivo può raggiungere qualsiasi obiettivo — generalizza solo a obiettivi simili a quelli rappresentati in addestramento
- Il condizionamento all'obiettivo si applica solo all'apprendimento per rinforzo — è altrettanto comune nell'apprendimento per imitazione, dove gli obiettivi vengono rietichettati a partire dai dati di dimostrazione
- Una policy condizionata all'obiettivo sostituisce la pianificazione — per compiti lunghi di solito ha bisogno di un pianificatore o di una mappa che fornisca sotto-obiettivi vicini
Chi dovrebbe saperlo
- Ricercatori di apprendimento robotico che lavorano su apprendimento per rinforzo e per imitazione
- Ingegneri della navigazione che usano controllori appresi
- Ingegneri che costruiscono sistemi gerarchici di pianificazione e controllo
Tecnologie correlate
- Apprendimento per rinforzo (Reinforcement Learning)
- Hindsight Experience Replay
- Approssimatori universali di funzioni di valore (Universal Value Function Approximators)
- Apprendimento per imitazione (Imitation Learning)
- Diffusion Policy
- Mappa topologica (Topological Map)
Termini correlati
Progetti correlati
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- MuJoCo: DeepMind physics engine for robotics and ML research
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim