Play Data
- Aussi appelé: teleoperated play, unstructured play data
- Catégorie: Learning & autonomy › Learning from demonstration
- Mots-clés: imitation-learning, data-collection, teleoperation, goal-conditioning, robot-learning
Des données d'interaction robotique enregistrées pendant qu'un téléopérateur humain explore librement un environnement sans tâche fixée, utilisées pour entraîner des politiques conditionnées par un objectif et à long horizon.
Définition
Données de jeu (play data) : données qui proviennent d'un mode de collecte dans lequel un opérateur humain téléopère un robot, ou dans certains travaux agit avec ses propres mains, et interagit avec un environnement comme il l'entend au lieu d'exécuter une tâche prédéfinie. Au cours d'une session de jeu, l'opérateur peut ouvrir un tiroir, pousser un bloc, actionner un interrupteur et ramasser un jouet, dans n'importe quel ordre. L'idée a été introduite en apprentissage robotique par Corey Lynch et ses collègues en 2019, dans leurs travaux sur l'apprentissage de plans latents à partir du jeu.
Le jeu présente plusieurs avantages pratiques par rapport aux démonstrations de tâches. Il est peu coûteux à collecter, puisqu'il n'est pas nécessaire de réinitialiser la scène ni de définir la réussite à chaque épisode ; il couvre une large gamme de comportements et les transitions entre eux ; et il inclut naturellement des rattrapages et des tentatives partielles. Comme les données n'ont pas d'étiquettes de tâche, on les combine généralement avec un réétiquetage a posteriori (hindsight relabeling) : toute fenêtre de l'enregistrement peut être traitée comme une démonstration de la façon d'atteindre l'état à sa fin, ce qui transforme du jeu non étiqueté en données d'entraînement pour des politiques conditionnées par un objectif. Des descriptions en langage naturel peuvent ensuite être ajoutées à un sous-ensemble de fenêtres pour entraîner des politiques conditionnées par le langage.
Les données de jeu ont aussi des faiblesses. Le comportement est multimodal, puisque le même départ et le même objectif peuvent être reliés de différentes manières, ce qui pousse les méthodes vers des politiques à variables latentes ou fondées sur la diffusion, capables de représenter plusieurs modes. La couverture dépend de l'opérateur, si bien que les états rarement visités restent mal appris. Certaines méthodes enregistrent des humains qui jouent avec leurs propres mains, ce qui est plus rapide que la téléopération, et utilisent ces données pour apprendre des plans de haut niveau qu'une politique propre au robot, entraînée sur une plus petite quantité de données téléopérées, exécute ensuite.
Pourquoi c'est important
Collecter des démonstrations propres à chaque tâche pour chaque compétence ne passe pas à l'échelle. Les données de jeu permettent à une seule session d'interaction libre de servir à de nombreuses tâches à la fois, et elles sont devenues une base courante pour l'apprentissage par imitation conditionné par un objectif, conditionné par le langage et à long horizon.
Applications principales
- Entraînement de politiques de manipulation conditionnées par un objectif
- Apprentissage par imitation conditionné par le langage avec annotation a posteriori
- Tâches à long horizon construites en enchaînant des sous-objectifs
- Préentraînement de représentations de plans latents ou de compétences
- Bancs d'essai de manipulation multitâche sur table
En pratique
Un laboratoire installe un plan de travail de type cuisine avec un tiroir, un placard, des blocs et un interrupteur, et un opérateur téléopère un bras robotique avec une manette de VR pendant de longues sessions sans consignes, en interagissant avec ce qu'il veut. Les enregistrements des images de caméra, de la proprioception et des actions sont découpés en courtes fenêtres pendant l'entraînement, chacune étiquetée avec sa dernière image comme objectif. Une politique conditionnée par un objectif apprend à atteindre n'importe quelle image cible, et un petit sous-ensemble de fenêtres est ensuite annoté avec des consignes comme « ouvre le tiroir » pour permettre des commandes langagières. Au moment du test, le robot enchaîne plusieurs objectifs pour accomplir une tâche plus longue, comme ouvrir le tiroir, y placer un bloc et le refermer.
Idées reçues
- Les données de jeu sont de l'exploration aléatoire — ce sont des comportements humains intentionnels ; ils ne sont simplement pas liés à une tâche prédéfinie
- Les données de jeu ont besoin d'étiquettes de tâche pour être utiles — le réétiquetage a posteriori transforme n'importe quel segment en exemple d'atteinte d'objectif sans étiquettes
- Les données de jeu remplacent entièrement les démonstrations de tâches — la couverture dépend de l'opérateur, donc des comportements rares ou précis peuvent encore nécessiter des démonstrations ciblées
Qui devrait le savoir
- Chercheurs en apprentissage par imitation
- Équipes de collecte de données robotiques et de téléopération
- Ingénieurs qui entraînent des politiques de manipulation conditionnées par le langage
- Chercheurs travaillant sur la manipulation à long horizon
Technologies associées
- Réétiquetage a posteriori (Hindsight Relabeling)
- Learning from Play (Play-LMP)
- Téléopération en VR (VR Teleoperation)
- Banc d'essai CALVIN (CALVIN Benchmark)
- Autoencodeurs variationnels conditionnels (Conditional Variational Autoencoders)
Termes associés
Projets associés
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
- XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
- DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required