RoboCrowd: Scaling Robot Data Collection through Crowdsourcing

Auteurs: Suvir Mirchandani, David D. Yuan, Kaylee Burns, Md Sazzad Islam, Tony Z. Zhao, Chelsea Finn, Dorsa Sadigh · ICRA 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Une station de téléopération ALOHA dans un café universitaire a utilisé des bonbons en récompense, des tâches captivantes et un classement pour collecter 817 épisodes auprès de 231 personnes ; les données sont utiles comme pré-entraînement pour ACT.

Pourquoi c'est important

Le travail teste si des membres du public, plutôt que des opérateurs désignés, peuvent fournir sur place des démonstrations robotiques utiles, et quelles incitations modifient la quantité et la qualité de leurs démonstrations. Les effets d'incitation mesurés et le jeu de données annoté en qualité fournissent des données de conception concrètes à quiconque prévoit une station de collecte de données publique ou partagée.

Problème

L'apprentissage par imitation nécessite des centaines à des milliers de démonstrations par tâche, et celles-ci sont encore collectées par des chercheurs ou des opérateurs désignés. Le crowdsourcing fonctionne pour les étiquettes de texte et d'images via des interfaces web, mais les démonstrations robotiques exigent un accès à du matériel physique, un robot performant, une prise en main que des novices peuvent suivre seuls et la sécurité pour des utilisateurs non formés.

Solution proposée

RoboCrowd installe dans un café public un dispositif fermé de marionnettage bimanuel ALOHA doté de fonctions de sécurité (vérification des auto-collisions dans une simulation MuJoCo parallèle, alarme audiovisuelle, enceinte en plexiglas), d'une connexion par carte d'identité (ID), d'un tutoriel interactif de moins d'une minute et d'une application sur tablette. Trois classes d'incitations orientent le comportement : les récompenses matérielles (des bonbons livrés dans une End Zone), l'intérêt intrinsèque (des tâches plus difficiles comme ouvrir un sachet Ziploc) et la comparaison sociale (un classement par points). Chaque épisode est annoté à la main à chaque pas de temps avec des étiquettes de tâche et des scores de qualité de 0 à 3, puis utilisé pour le co-entraînement ou le pré-entraînement de politiques ACT.

Idées clés

• Les récompenses matérielles préférées déplacent l'effort : les utilisateurs ont consacré 2× plus de pas de temps à hi-chew qu'à tootsie-roll, deux tâches de bin picking de difficulté quasi identique (81 % des 16 personnes interrogées préféraient un Hi-Chew).
• L'intérêt intrinsèque compte même à récompense égale : les utilisateurs ont consacré 4,18× plus de pas de temps à hi-chew-ziploc qu'à hi-chew-bin, et 1,5× plus à jelly-bean qu'à hershey-kiss malgré une légère préférence pour le Hershey Kiss.
• Les visiteurs du classement ont fourni significativement plus de démonstrations (p<0,001), d'une qualité moyenne plus élevée (p<0,05), selon un test U de Mann-Whitney.
• Mélanger naïvement les données de la foule aux données d'experts peut nuire, tandis qu'un pré-entraînement sur ces données suivi d'un affinage sur les données d'experts aide plus souvent.
• La qualité lors du tutoriel prédit grossièrement la qualité ultérieure sur les tâches et peut servir de premier filtre des démonstrateurs.

Principaux résultats

• Sur un déploiement de deux semaines (11 jours de collecte) : 231 utilisateurs uniques et 817 épisodes d'interaction (129 dans BinScene, 381 dans Bin+DispenserScene, 307 dans Bin+ZiplocScene).
• Répartition du temps d'interaction : 54,2 % sur les tâches prédéfinies, 9,6 % sur le tutoriel et 36,1 % en jeu libre.
• Réussite en bin picking, Fine-tune contre Expert-only ACT (40 essais chacun) : hi-chew 42,5 % contre 37,5 %, hershey-kiss 35 % contre 20 %, hi-chew-bin 40 % contre 20 % ; tootsie-roll 40 % contre 42,5 %.
• Tâches à long horizon (0 % de réussite complète pour toutes les politiques, notées par le retour normalisé sur 100) : hi-chew-ziploc 22,1 en Fine-tune contre 5,4 en Expert ; jelly-bean 19,7 contre 48,9, où les données de la foule ont nui.
• Nouvelle tâche tool-ziploc (50 démonstrations d'experts) : le pré-entraînement sur les données hi-chew-ziploc de la foule a porté la réussite par étape à 95 % / 85 % / 80 % contre 85 % / 70 % / 60 % pour saisir le coin, pincer la languette et ouvrir en faisant glisser.

Limites

• Le crowdsourcing entraîne des problèmes de qualité et d'hétérogénéité des données ; le co-entraînement naïf a obtenu de moins bons résultats que l'entraînement sur les seules données d'experts pour plusieurs tâches (p. ex. hi-chew 27,5 % contre 37,5 %).
• Les données de la foule contiennent des comportements significatifs mais sous-optimaux, comme saisir plusieurs bonbons à la fois, que les politiques entraînées reproduisent.
• Seuls trois types d'incitations ont été étudiés ; les auteurs relèvent des questions ouvertes, par exemple en quoi les récompenses physiques diffèrent des récompenses monétaires.
• Les étiquettes de qualité ont été annotées à la main, et les tâches à long horizon ont atteint 0 % de réussite complète pour toutes les politiques.
• Les politiques ont été évaluées dans un autre lieu à l'éclairage constant, et non dans le café où l'éclairage variait pendant la collecte.

Impact sur le domaine

L'article a été finaliste de l'ICRA 2025 IEEE ICRA Best Conference Paper Award et compte 11 citations. Il présente son jeu de données issu du crowdsourcing, provenant de plus de 200 utilisateurs et doté d'annotations de qualité manuelles et fines, comme une ressource pour de futurs travaux ; ni l'article ni sa page de projet ne donnent de lien de téléchargement du code ou du jeu de données.

Résumé

Ces dernières années, l'apprentissage par imitation à partir de démonstrations humaines à grande échelle s'est imposé comme un paradigme prometteur pour entraîner des politiques robotiques. Cependant, la charge que représente la collecte de grandes quantités de démonstrations humaines est importante, en termes de temps de collecte et de besoin d'accès à des opérateurs experts. Nous présentons un nouveau paradigme de collecte de données, RoboCrowd, qui répartit la charge de travail en s'appuyant sur les principes du crowdsourcing et sur la conception d'incitations. RoboCrowd contribue à permettre une collecte de données passant à l'échelle et facilite un apprentissage plus efficace des politiques robotiques. Nous construisons RoboCrowd sur ALOHA (Zhao et al. 2023), une plateforme bimanuelle qui permet la collecte de données par marionnettage (puppeteering), afin d'explorer l'espace de conception du crowdsourcing de démonstrations en présentiel dans un environnement public. Nous proposons trois classes de mécanismes d'incitation pour faire appel aux différentes sources de motivation des utilisateurs à interagir avec le système : les récompenses matérielles, l'intérêt intrinsèque et la comparaison sociale. Nous concrétisons ces incitations au moyen de tâches comprenant des récompenses physiques, des manipulations captivantes ou difficiles, ainsi que des éléments de ludification tels qu'un classement. Nous menons une expérience de terrain à grande échelle de deux semaines au cours de laquelle la plateforme est installée dans un café universitaire. Nous observons un engagement important envers le système : plus de 200 personnes se sont portées volontaires de manière indépendante pour fournir au total plus de 800 épisodes d'interaction. Nos résultats valident les incitations proposées en tant que mécanismes permettant d'orienter la quantité et la qualité des données des utilisateurs. De plus, nous démontrons que les données issues du crowdsourcing peuvent servir de données de pré-entraînement utiles pour des politiques affinées sur des démonstrations d'experts, améliorant les performances jusqu'à 20 % par rapport au cas où ces données ne sont pas disponibles. Ces résultats suggèrent que RoboCrowd peut réduire la charge de la collecte de données robotiques grâce à une mise en œuvre soignée des principes de crowdsourcing et de conception d'incitations.

Liens

• arXiv 2411.01915: https://arxiv.org/abs/2411.01915
• DOI 10.1109/ICRA55743.2025.11127402: https://doi.org/10.1109/ICRA55743.2025.11127402
• PDF: https://arxiv.org/pdf/2411.01915v1
• Page du projet: https://robocrowd.github.io/