Open X-Embodiment (OXE)

Plus grand dataset robotique ouvert : 1M+ épisodes de 22 incarnations

Licence

CC-BY-4.0

Aperçu

Le plus grand dataset robotique open source avec plus d'1M d'épisodes robotiques provenant de 22 incarnations robotiques, collectés dans 34 laboratoires de recherche dans le monde. Contient 60 datasets couvrant 527 compétences pour entraîner des politiques robotiques généralistes.

Open X-Embodiment est le plus grand jeu de données robotique accessible au public, regroupant plus d'un million d'épisodes de manipulation sur robots réels collectés avec 22 incarnations robotiques différentes dans 34 institutions de recherche à travers le monde. Il englobe 60 jeux de données distincts couvrant 527 compétences de manipulation différentes, offrant une diversité sans précédent en matière de morphologies robotiques, de tâches et de conditions de fonctionnement. Cette vaste collection permet la recherche sur l'apprentissage inter-incarnations (cross-embodiment), où des politiques entraînées sur des données provenant de plusieurs types de robots peuvent se généraliser à de nouvelles plateformes et tâches. Le format de données standardisé facilite le pré-entraînement à grande échelle de modèles de fondation pour la robotique, soutenant la recherche sur des systèmes de manipulation polyvalents. En réunissant les contributions de dizaines de laboratoires en une ressource unifiée, Open X-Embodiment s'attaque à la pénurie de données qui a historiquement limité la recherche en apprentissage automatique pour la robotique.

Pourquoi c'est important

Open X-Embodiment représente le plus vaste effort collaboratif de collecte de données en robotique, réunissant 34 laboratoires de recherche pour créer un jeu de données permettant d'entraîner des politiques robotiques généralistes. Il a démontré que l'entraînement cross-embodiment peut améliorer les performances par rapport aux politiques entraînées sur un seul jeu de données.

Le problème résolu

Chaque laboratoire de robotique collecte de petits jeux de données sur des robots spécifiques, ce qui rend impossible l'entraînement de politiques polyvalentes. OXE agrège des données de manipulation variées à une échelle sans précédent, prouvant que l'entraînement inter-incarnations transfère des connaissances entre différentes morphologies de robots.

Points clés

• Plus d'1 million d'épisodes sur robots réels issus de 22 incarnations robotiques différentes
• Collectés dans 34 institutions de recherche du monde entier, couvrant 527 compétences
• Les modèles RT-X entraînés sur OXE surpassent les modèles spécialisés sur un seul jeu de données
• Le format de données standardisé (RLDS) facilite l'intégration de nouveaux jeux de données
• Fondement de la politique généraliste RT-2-X de Google DeepMind

Pour qui

• Chercheurs en robotique entraînant des modèles de fondation
• Laboratoires construisant des politiques de manipulation généralistes
• Équipes développant des modèles VLA (vision-langage-action)
• Entreprises faisant passer l'apprentissage robotique à l'échelle au-delà des démos mono-tâche

Limites

• Fortement orienté vers les tâches de manipulation sur table
• La qualité et la cohérence de l'annotation varient selon les laboratoires contributeurs
• L'entraînement sur l'ensemble complet nécessite une puissance de calcul importante
• Le transfert vers le monde réel nécessite toujours une adaptation de domaine pour chaque robot