Play Data
- Detto anche: teleoperated play, unstructured play data
- Categoria: Learning & autonomy › Learning from demonstration
- Tag: imitation-learning, data-collection, teleoperation, goal-conditioning, robot-learning
Dati di interazione robotica registrati mentre un operatore umano in teleoperazione esplora liberamente un ambiente senza un compito fisso, usati per addestrare policy condizionate all'obiettivo e a lungo orizzonte.
Definizione
Dati di gioco (play data) provengono da uno stile di raccolta dati in cui un operatore umano comanda un robot in teleoperazione, o in alcuni lavori agisce con le proprie mani, e interagisce con un ambiente come preferisce invece di eseguire un compito predefinito. In una sessione di gioco l'operatore potrebbe aprire un cassetto, spingere un blocco, azionare un interruttore e raccogliere un giocattolo, in qualsiasi ordine. L'idea è stata introdotta nell'apprendimento robotico da Corey Lynch e colleghi nel 2019 con il loro lavoro sull'apprendimento di piani latenti dal gioco.
Il gioco ha diversi vantaggi pratici rispetto alle dimostrazioni di compiti. È economico da raccogliere, perché non serve reimpostare la scena né definire il successo di ogni episodio; copre un'ampia gamma di comportamenti e le transizioni tra di essi; e include naturalmente recuperi e tentativi parziali. Poiché i dati non hanno etichette di compito, vengono di solito combinati con il rietichettamento a posteriori (hindsight relabeling): qualsiasi finestra della registrazione può essere trattata come una dimostrazione di come raggiungere lo stato alla sua fine, il che trasforma il gioco non etichettato in dati di addestramento per policy condizionate all'obiettivo. Descrizioni in linguaggio naturale possono essere aggiunte in seguito a un sottoinsieme di finestre per addestrare policy condizionate dal linguaggio.
I dati di gioco hanno anche dei punti deboli. Il comportamento è multimodale, dato che lo stesso inizio e lo stesso obiettivo possono essere collegati in modi diversi, il che spinge i metodi verso policy a variabili latenti o basate sulla diffusione in grado di rappresentare più modi. La copertura dipende dall'operatore, quindi gli stati visitati di rado restano appresi male. Alcuni metodi registrano persone che giocano con le proprie mani, il che è più rapido della teleoperazione, e usano quei dati per apprendere piani di alto livello che una policy specifica per il robot, addestrata su una quantità minore di dati in teleoperazione, poi esegue.
Perché è importante
Raccogliere dimostrazioni specifiche per ogni abilità non scala. I dati di gioco permettono a una sola sessione di interazione libera di servire molti compiti contemporaneamente, e sono diventati una base comune per l'apprendimento per imitazione condizionato all'obiettivo, condizionato dal linguaggio e a lungo orizzonte.
Applicazioni principali
- Addestramento di policy di manipolazione condizionate all'obiettivo
- Apprendimento per imitazione condizionato dal linguaggio con annotazione a posteriori
- Compiti a lungo orizzonte costruiti concatenando sotto-obiettivi
- Preaddestramento di rappresentazioni di piani latenti o di abilità
- Benchmark di manipolazione multi-task su tavolo
In pratica
Un laboratorio allestisce un tavolo in stile cucina con un cassetto, un mobiletto, blocchi e un interruttore della luce, e un operatore comanda un braccio robotico in teleoperazione con un controller VR per lunghe sessioni senza istruzioni, interagendo con ciò che sceglie. Le registrazioni di immagini della telecamera, propriocezione e azioni vengono tagliate in brevi finestre durante l'addestramento, ciascuna etichettata con il suo ultimo fotogramma come obiettivo. Una policy condizionata all'obiettivo impara a raggiungere qualsiasi immagine obiettivo, e un piccolo sottoinsieme di finestre viene poi annotato con istruzioni come "apri il cassetto" per abilitare comandi in linguaggio. In fase di test, il robot concatena diversi obiettivi per completare un compito più lungo, come aprire il cassetto, metterci dentro un blocco e richiuderlo.
Idee sbagliate comuni
- I dati di gioco sono esplorazione casuale — sono comportamento umano intenzionale; semplicemente non sono legati a un compito predefinito
- I dati di gioco hanno bisogno di etichette di compito per essere utili — il rietichettamento a posteriori trasforma qualsiasi segmento in un esempio di raggiungimento di un obiettivo senza etichette
- I dati di gioco sostituiscono del tutto le dimostrazioni di compiti — la copertura dipende dall'operatore, quindi comportamenti rari o precisi possono richiedere comunque dimostrazioni mirate
Chi dovrebbe saperlo
- Ricercatori di apprendimento per imitazione
- Team di raccolta dati e teleoperazione di robot
- Ingegneri che addestrano policy di manipolazione condizionate dal linguaggio
- Ricercatori che lavorano sulla manipolazione a lungo orizzonte
Tecnologie correlate
- Rietichettamento a posteriori (Hindsight Relabeling)
- Learning from Play (Play-LMP)
- Teleoperazione in VR (VR Teleoperation)
- Benchmark CALVIN (CALVIN Benchmark)
- Autoencoder variazionali condizionali (Conditional Variational Autoencoders)
Termini correlati
Progetti correlati
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
- XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
- DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required