Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

ABC-130k

Le plus grand jeu de données open source de téléopération robotique bimanuelle : 130 919 épisodes

Licence

Apache-2.0

Aperçu

ABC-130k est le plus grand jeu de données open source de téléopération robotique. Il contient 130 919 trajectoires de manipulation bimanuelle — 3 598 heures au total — collectées sur des stations YAM à deux bras, chacune équipée de deux bras à 6 DOF, de pinces à mâchoires parallèles et de trois caméras (une en plongée et deux montées au poignet). 43 090 des épisodes comportent des annotations de sous-tâches, stockées séparément des données d'épisode. Le jeu de données est publié sous Apache-2.0 au format MCAP, avec les états des articulations, les positions des pinces et des flux vidéo synchronisés, accompagné d'un article de recherche associé et de code d'entraînement/déploiement. Créé par Amazon FAR.

ABC-130k cible le goulot d'étranglement central de la manipulation généraliste — l'échelle et la diversité des données robotiques réelles — et le fait pour le cadre bimanuel, peu desservi. Chaque trajectoire est une démonstration de téléopération humaine sur une station YAM standardisée à deux bras, capturée au format MCAP avec l'état complet des articulations/pinces et trois vues de caméra synchronisées. Un large sous-ensemble annoté ajoute des étiquettes de sous-tâches pour un apprentissage et une évaluation à grain plus fin. Avec 130 919 épisodes et 3 598 heures, c'est à ce jour le plus grand corpus de téléopération sous licence ouverte, et il est livré avec du code pour entraîner et déployer des politiques sur les données.

Pourquoi c'est important

Les politiques de manipulation généralistes sont limitées par l'échelle et la diversité des données robotiques réelles, et la plupart des grands jeux de données ouverts sont à bras unique. ABC-130k est à la fois d'échelle fondationnelle et bimanuel, couvrant la coordination à deux bras qui fait le plus défaut au domaine, et offre à la communauté une ressource sous licence ouverte pour l'entraînement et l'évaluation comparative de la manipulation bimanuelle. Environ 32 000 téléchargements par mois témoignent d'une adoption forte et immédiate.

Le problème résolu

Les données ouvertes d'apprentissage robotique sont largement à bras unique et limitées en échelle ; il n'existait aucun jeu de données de téléopération bimanuelle d'échelle fondationnelle sous licence ouverte pour entraîner et évaluer la manipulation à deux bras.

Points clés

  • Le plus grand jeu de données de téléopération ouvert à ce jour : 130 919 épisodes, 3 598 heures, ~22 TB
  • Stations YAM bimanuelles à deux bras : deux bras à 6 DOF, pinces parallèles, trois caméras
  • 43 090 épisodes avec annotations de sous-tâches stockées séparément des données d'épisode
  • Format MCAP avec état des articulations/pinces et vidéo synchronisée, plus un article et du code d'entraînement/déploiement
  • Sous licence Apache-2.0 ; ~32k téléchargements/mois

Pour qui

  • Chercheurs en manipulation bimanuelle
  • Entraîneurs de modèles fondationnels robotiques
  • Équipes d'apprentissage par imitation
  • Concepteurs de benchmarks et d'évaluations

Limites

  • ~22 TB au total — besoins importants en stockage et en bande passante
  • Collecté sur une seule plateforme matérielle (stations YAM à deux bras)
  • Démonstrations de téléopération, et non trajectoires autonomes ou optimales
  • Les annotations de sous-tâches couvrent un sous-ensemble (43 090 des 130 919 épisodes)

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.