RoboCrowd: Scaling Robot Data Collection through Crowdsourcing

Autoren: Suvir Mirchandani, David D. Yuan, Kaylee Burns, Md Sazzad Islam, Tony Z. Zhao, Chelsea Finn, Dorsa Sadigh · ICRA 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Eine ALOHA-Teleoperationsstation in einem Universitätscafé sammelte mit Süßigkeiten als Belohnung, ansprechenden Aufgaben und einer Bestenliste 817 Episoden von 231 Personen; die Daten helfen als Vortraining für ACT.

Warum es wichtig ist

Die Arbeit prüft, ob Mitglieder der Öffentlichkeit statt designierter Bediener vor Ort nützliche Roboterdemonstrationen liefern können und welche Anreize verändern, wie viel und wie gut sie demonstrieren. Die gemessenen Anreizeffekte und der qualitätsannotierte Datensatz liefern konkrete Gestaltungsdaten für alle, die eine öffentliche oder gemeinsam genutzte Datenerhebungsstation planen.

Problem

Imitationslernen benötigt Hunderte bis Tausende Demonstrationen pro Aufgabe, und diese werden noch immer von Forschenden oder designierten Bedienern gesammelt. Crowdsourcing funktioniert für Text- und Bildlabels über Weboberflächen, doch Roboterdemonstrationen erfordern Zugang zu physischer Hardware, einen leistungsfähigen Roboter, ein Onboarding, dem Anfänger allein folgen können, und Sicherheit für ungeschulte Nutzer.

Lösungsansatz

RoboCrowd stellt einen eingehausten bimanuellen ALOHA-Puppeteering-Aufbau in einem öffentlichen Café auf, mit Sicherheitsfunktionen (Selbstkollisionsprüfung in einer parallelen MuJoCo-Simulation, ein audiovisueller Alarm, Plexiglas-Einhausung), Anmeldung per ID-Karte, einem interaktiven Tutorial von unter einer Minute und einer Tablet-App. Drei Anreizklassen prägen das Verhalten: materielle Belohnungen (Süßigkeiten, die in eine End Zone geliefert werden), intrinsisches Interesse (schwierigere Aufgaben wie das Öffnen eines Ziploc-Beutels) und sozialer Vergleich (eine Punkte-Bestenliste). Jede Episode wird pro Zeitschritt von Hand mit Aufgabenlabels und Qualitätswerten von 0 bis 3 annotiert und dann zum Co-Training oder Vortraining von ACT-Policies verwendet.

Wichtigste Erkenntnisse

Bevorzugte materielle Belohnungen verlagern den Einsatz: Nutzer verbrachten 2× so viele Zeitschritte mit hi-chew wie mit tootsie-roll, zwei Bin-Picking-Aufgaben nahezu gleicher Schwierigkeit (81 % von 16 befragten Personen bevorzugten ein Hi-Chew).
Intrinsisches Interesse zählt auch bei gleichen Belohnungen: Nutzer verbrachten 4,18× so viele Zeitschritte mit hi-chew-ziploc wie mit hi-chew-bin und 1,5× so viele mit jelly-bean wie mit hershey-kiss, trotz einer leichten Präferenz für den Hershey Kiss.
Besucher der Bestenliste lieferten in einem Mann-Whitney-U-Test signifikant mehr Demonstrationen (p<0,001) mit höherer mittlerer Qualität (p<0,05).
Crowd-Daten naiv mit Expertendaten zu mischen, kann schaden, während Vortraining darauf mit anschließendem Fine-Tuning auf Expertendaten häufiger hilft.
Die Qualität im Tutorial sagt die spätere Aufgabenqualität grob voraus und kann als erster Filter für Demonstrierende dienen.

Hauptergebnisse

Über einen zweiwöchigen Einsatz (11 Erhebungstage): 231 eindeutige Nutzer und 817 Interaktionsepisoden (129 in BinScene, 381 in Bin+DispenserScene, 307 in Bin+ZiplocScene).
Aufteilung der Interaktionszeit: 54,2 % auf vorgegebene Aufgaben, 9,6 % auf das Tutorial und 36,1 % auf freies Spielen.
Bin-Picking-Erfolg, Fine-tune gegenüber Expert-only ACT (je 40 Versuche): hi-chew 42,5 % vs. 37,5 %, hershey-kiss 35 % vs. 20 %, hi-chew-bin 40 % vs. 20 %; tootsie-roll 40 % vs. 42,5 %.
Aufgaben mit langem Horizont (0 % vollständiger Erfolg für jede Policy, bewertet nach normiertem Return von 100): hi-chew-ziploc 22,1 Fine-tune vs. 5,4 Expert; jelly-bean 19,7 vs. 48,9, wo Crowd-Daten schadeten.
Neue Aufgabe tool-ziploc (50 Expertendemos): Vortraining auf den Crowd-Daten von hi-chew-ziploc erhöhte den stufenweisen Erfolg auf 95 % / 85 % / 80 % gegenüber 85 % / 70 % / 60 % für Ecke greifen, Lasche fassen und aufziehen.

Einschränkungen

Crowdsourcing bringt Probleme mit Datenqualität und Heterogenität mit sich; naives Co-Training schnitt bei mehreren Aufgaben schlechter ab als Training nur mit Expertendaten (z. B. hi-chew 27,5 % vs. 37,5 %).
Crowd-Daten enthalten sinnvolle, aber suboptimale Verhaltensweisen, etwa mehrere Süßigkeiten auf einmal zu greifen, die die trainierten Policies reproduzieren.
Nur drei Anreiztypen wurden untersucht; die Autoren nennen offene Fragen, etwa wie sich physische Belohnungen von monetären unterscheiden.
Qualitätslabels wurden von Hand annotiert, und die Aufgaben mit langem Horizont erreichten für alle Policies 0 % vollständigen Erfolg.
Die Policies wurden an einem anderen Ort mit gleichbleibender Beleuchtung evaluiert, nicht in dem Café, in dem die Beleuchtung während der Erhebung variierte.

Wirkung auf das Fachgebiet

Das Paper war Finalist für den ICRA 2025 IEEE ICRA Best Conference Paper Award und hat 11 Zitierungen. Es präsentiert seinen per Crowdsourcing gewonnenen Datensatz von über 200 Nutzern mit manuellen, feingranularen Qualitätsannotationen als Ressource für künftige Arbeiten; weder das Paper noch seine Projektseite nennt einen Download-Link für Code oder Datensatz.

Zusammenfassung

In den letzten Jahren hat sich Imitationslernen aus groß angelegten menschlichen Demonstrationen als vielversprechendes Paradigma für das Training von Roboter-Policies herausgebildet. Der Aufwand, große Mengen menschlicher Demonstrationen zu sammeln, ist jedoch erheblich, sowohl hinsichtlich der Erfassungszeit als auch des nötigen Zugangs zu erfahrenen Bedienern. Wir stellen RoboCrowd vor, ein neues Paradigma der Datenerhebung, das die Arbeitslast mithilfe von Crowdsourcing-Prinzipien und Anreizgestaltung verteilt. RoboCrowd trägt dazu bei, eine skalierbare Datenerhebung zu ermöglichen, und erleichtert ein effizienteres Lernen von Roboter-Policies. Wir bauen RoboCrowd auf ALOHA (Zhao et al. 2023) auf, einer bimanuellen Plattform, die Datenerhebung per Puppeteering unterstützt, um den Gestaltungsraum für das Crowdsourcing von Präsenz-Demonstrationen in einer öffentlichen Umgebung zu erkunden. Wir schlagen drei Klassen von Anreizmechanismen vor, die die unterschiedlichen Motivationsquellen der Nutzer für die Interaktion mit dem System ansprechen: materielle Belohnungen, intrinsisches Interesse und sozialer Vergleich. Wir setzen diese Anreize durch Aufgaben um, die physische Belohnungen, ansprechende oder anspruchsvolle Manipulationen sowie Gamification-Elemente wie eine Bestenliste umfassen. Wir führen ein groß angelegtes, zweiwöchiges Feldexperiment durch, bei dem die Plattform in einem Universitätscafé aufgestellt ist. Wir beobachten ein erhebliches Engagement mit dem System: Über 200 Personen meldeten sich unabhängig voneinander freiwillig und lieferten insgesamt über 800 Interaktionsepisoden. Unsere Ergebnisse bestätigen die vorgeschlagenen Anreize als Mechanismen zur Steuerung von Menge und Qualität der Nutzerdaten. Darüber hinaus zeigen wir, dass die per Crowdsourcing gewonnenen Daten als nützliche Vortrainingsdaten für Policies dienen können, die auf Expertendemonstrationen feinabgestimmt werden, und die Leistung um bis zu 20 % gegenüber dem Fall ohne diese Daten steigern. Diese Ergebnisse deuten auf das Potenzial von RoboCrowd hin, den Aufwand der Roboterdatenerhebung durch eine sorgfältige Umsetzung von Crowdsourcing- und Anreizgestaltungsprinzipien zu verringern.

Open Source Robotics