Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Play Data

  • Detto anche: teleoperated play, unstructured play data
  • Categoria: Learning & autonomy › Learning from demonstration
  • Tag: imitation-learning, data-collection, teleoperation, goal-conditioning, robot-learning

Dati di interazione robotica registrati mentre un operatore umano in teleoperazione esplora liberamente un ambiente senza un compito fisso, usati per addestrare policy condizionate all'obiettivo e a lungo orizzonte.

Definizione

Dati di gioco (play data) provengono da uno stile di raccolta dati in cui un operatore umano comanda un robot in teleoperazione, o in alcuni lavori agisce con le proprie mani, e interagisce con un ambiente come preferisce invece di eseguire un compito predefinito. In una sessione di gioco l'operatore potrebbe aprire un cassetto, spingere un blocco, azionare un interruttore e raccogliere un giocattolo, in qualsiasi ordine. L'idea è stata introdotta nell'apprendimento robotico da Corey Lynch e colleghi nel 2019 con il loro lavoro sull'apprendimento di piani latenti dal gioco.

Il gioco ha diversi vantaggi pratici rispetto alle dimostrazioni di compiti. È economico da raccogliere, perché non serve reimpostare la scena né definire il successo di ogni episodio; copre un'ampia gamma di comportamenti e le transizioni tra di essi; e include naturalmente recuperi e tentativi parziali. Poiché i dati non hanno etichette di compito, vengono di solito combinati con il rietichettamento a posteriori (hindsight relabeling): qualsiasi finestra della registrazione può essere trattata come una dimostrazione di come raggiungere lo stato alla sua fine, il che trasforma il gioco non etichettato in dati di addestramento per policy condizionate all'obiettivo. Descrizioni in linguaggio naturale possono essere aggiunte in seguito a un sottoinsieme di finestre per addestrare policy condizionate dal linguaggio.

I dati di gioco hanno anche dei punti deboli. Il comportamento è multimodale, dato che lo stesso inizio e lo stesso obiettivo possono essere collegati in modi diversi, il che spinge i metodi verso policy a variabili latenti o basate sulla diffusione in grado di rappresentare più modi. La copertura dipende dall'operatore, quindi gli stati visitati di rado restano appresi male. Alcuni metodi registrano persone che giocano con le proprie mani, il che è più rapido della teleoperazione, e usano quei dati per apprendere piani di alto livello che una policy specifica per il robot, addestrata su una quantità minore di dati in teleoperazione, poi esegue.

Perché è importante

Raccogliere dimostrazioni specifiche per ogni abilità non scala. I dati di gioco permettono a una sola sessione di interazione libera di servire molti compiti contemporaneamente, e sono diventati una base comune per l'apprendimento per imitazione condizionato all'obiettivo, condizionato dal linguaggio e a lungo orizzonte.

Applicazioni principali

  • Addestramento di policy di manipolazione condizionate all'obiettivo
  • Apprendimento per imitazione condizionato dal linguaggio con annotazione a posteriori
  • Compiti a lungo orizzonte costruiti concatenando sotto-obiettivi
  • Preaddestramento di rappresentazioni di piani latenti o di abilità
  • Benchmark di manipolazione multi-task su tavolo

In pratica

Un laboratorio allestisce un tavolo in stile cucina con un cassetto, un mobiletto, blocchi e un interruttore della luce, e un operatore comanda un braccio robotico in teleoperazione con un controller VR per lunghe sessioni senza istruzioni, interagendo con ciò che sceglie. Le registrazioni di immagini della telecamera, propriocezione e azioni vengono tagliate in brevi finestre durante l'addestramento, ciascuna etichettata con il suo ultimo fotogramma come obiettivo. Una policy condizionata all'obiettivo impara a raggiungere qualsiasi immagine obiettivo, e un piccolo sottoinsieme di finestre viene poi annotato con istruzioni come "apri il cassetto" per abilitare comandi in linguaggio. In fase di test, il robot concatena diversi obiettivi per completare un compito più lungo, come aprire il cassetto, metterci dentro un blocco e richiuderlo.

Idee sbagliate comuni

  • I dati di gioco sono esplorazione casuale — sono comportamento umano intenzionale; semplicemente non sono legati a un compito predefinito
  • I dati di gioco hanno bisogno di etichette di compito per essere utili — il rietichettamento a posteriori trasforma qualsiasi segmento in un esempio di raggiungimento di un obiettivo senza etichette
  • I dati di gioco sostituiscono del tutto le dimostrazioni di compiti — la copertura dipende dall'operatore, quindi comportamenti rari o precisi possono richiedere comunque dimostrazioni mirate

Chi dovrebbe saperlo

  • Ricercatori di apprendimento per imitazione
  • Team di raccolta dati e teleoperazione di robot
  • Ingegneri che addestrano policy di manipolazione condizionate dal linguaggio
  • Ricercatori che lavorano sulla manipolazione a lungo orizzonte

Tecnologie correlate

  • Rietichettamento a posteriori (Hindsight Relabeling)
  • Learning from Play (Play-LMP)
  • Teleoperazione in VR (VR Teleoperation)
  • Benchmark CALVIN (CALVIN Benchmark)
  • Autoencoder variazionali condizionali (Conditional Variational Autoencoders)

Termini correlati

  • Goal-Conditioned Policy
  • Imitation Learning
  • Teleoperation
  • Behavior Cloning
  • Visuomotor Policy

Progetti correlati

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
  • XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
  • DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.