RoboCrowd: Scaling Robot Data Collection through Crowdsourcing

Autores: Suvir Mirchandani, David D. Yuan, Kaylee Burns, Md Sazzad Islam, Tony Z. Zhao, Chelsea Finn, Dorsa Sadigh · ICRA 2025

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Una estación de teleoperación ALOHA en una cafetería universitaria usó caramelos como recompensa, tareas atractivas y una clasificación para recoger 817 episodios de 231 personas; los datos son útiles como preentrenamiento para ACT.

Por qué importa

Pone a prueba si el público, en lugar de operadores designados, puede aportar en persona demostraciones útiles para robots, y qué incentivos cambian cuánto y cuán bien demuestran. Los efectos medidos de los incentivos y el conjunto de datos anotado por calidad aportan datos de diseño concretos para quien planee una estación de recogida de datos pública o compartida.

Problema

El aprendizaje por imitación necesita de cientos a miles de demostraciones por tarea, y estas todavía las recogen investigadores u operadores designados. El crowdsourcing funciona para etiquetas de texto e imagen a través de interfaces web, pero las demostraciones robóticas requieren acceso a hardware físico, un robot capaz, una incorporación que los novatos puedan seguir solos y seguridad para usuarios sin formación.

Solución propuesta

RoboCrowd coloca un montaje cerrado de puppeteering bimanual ALOHA en una cafetería pública con funciones de seguridad (comprobación de autocolisiones en una simulación paralela en MuJoCo, una alarma audiovisual, un cerramiento de plexiglás), registro con tarjeta de identificación (ID), un tutorial interactivo de menos de un minuto y una aplicación para tableta. Tres clases de incentivos moldean el comportamiento: recompensas materiales (caramelos entregados en una End Zone), interés intrínseco (tareas más difíciles como abrir una bolsa Ziploc) y comparación social (una clasificación por puntos). Cada episodio se anota a mano en cada paso de tiempo con etiquetas de tarea y puntuaciones de calidad de 0 a 3, y después se usa para coentrenar o preentrenar políticas ACT.

Ideas clave

• Las recompensas materiales preferidas desplazan el esfuerzo: los usuarios dedicaron 2× más pasos de tiempo a hi-chew que a tootsie-roll, dos tareas de bin picking de dificultad casi idéntica (el 81 % de 16 personas encuestadas prefería un Hi-Chew).
• El interés intrínseco importa incluso con recompensas iguales: los usuarios dedicaron 4,18× más pasos de tiempo a hi-chew-ziploc que a hi-chew-bin, y 1,5× más a jelly-bean que a hershey-kiss pese a una ligera preferencia por el Hershey Kiss.
• Quienes visitaron la clasificación dieron significativamente más demostraciones (p<0,001) y de mayor calidad media (p<0,05) en una prueba U de Mann-Whitney.
• Mezclar sin más los datos del público con los datos de expertos puede perjudicar, mientras que preentrenar con ellos y después ajustar con datos de expertos ayuda con más frecuencia.
• La calidad en el tutorial predice de forma aproximada la calidad posterior en las tareas y puede servir como primer filtro de los demostradores.

Resultados principales

• En un despliegue de dos semanas (11 días de recogida): 231 usuarios únicos y 817 episodios de interacción (129 en BinScene, 381 en Bin+DispenserScene, 307 en Bin+ZiplocScene).
• Reparto del tiempo de interacción: 54,2 % en tareas predefinidas, 9,6 % en el tutorial y 36,1 % en juego libre.
• Éxito en bin picking, ACT Fine-tune frente a Expert-only (40 ensayos cada uno): hi-chew 42,5 % frente a 37,5 %, hershey-kiss 35 % frente a 20 %, hi-chew-bin 40 % frente a 20 %; tootsie-roll 40 % frente a 42,5 %.
• Tareas de horizonte largo (0 % de éxito completo para todas las políticas, puntuadas por retorno normalizado sobre 100): hi-chew-ziploc 22,1 Fine-tune frente a 5,4 Expert; jelly-bean 19,7 frente a 48,9, donde los datos del público perjudicaron.
• Nueva tarea tool-ziploc (50 demostraciones de expertos): preentrenar con los datos del público de hi-chew-ziploc elevó el éxito por etapas a 95 % / 85 % / 80 % frente a 85 % / 70 % / 60 % para agarrar la esquina, pinzar la lengüeta y deslizar para abrir.

Limitaciones

• El crowdsourcing trae problemas de calidad y heterogeneidad de los datos; el coentrenamiento ingenuo rindió por debajo del entrenamiento solo con expertos en varias tareas (por ejemplo, hi-chew 27,5 % frente a 37,5 %).
• Los datos del público contienen comportamientos con sentido pero subóptimos, como coger varios caramelos a la vez, que las políticas entrenadas reproducen.
• Solo se estudiaron tres tipos de incentivos; los autores señalan preguntas abiertas, como en qué se diferencian las recompensas físicas de las monetarias.
• Las etiquetas de calidad se anotaron a mano, y las tareas de horizonte largo alcanzaron un 0 % de éxito completo con todas las políticas.
• Las políticas se evaluaron en otro lugar con iluminación constante, no en la cafetería, donde la iluminación variaba durante la recogida.

Impacto en el campo

El artículo fue finalista del ICRA 2025 IEEE ICRA Best Conference Paper Award y tiene 11 citas. Presenta su conjunto de datos obtenido por crowdsourcing, de más de 200 usuarios con anotaciones de calidad manuales y detalladas, como recurso para trabajos futuros; ni el artículo ni su página del proyecto ofrecen un enlace de descarga del código o del conjunto de datos.

Resumen

En los últimos años, el aprendizaje por imitación a partir de demostraciones humanas a gran escala se ha consolidado como un paradigma prometedor para entrenar políticas de robots. Sin embargo, la carga de recoger grandes cantidades de demostraciones humanas es considerable en términos de tiempo de recogida y de la necesidad de acceder a operadores expertos. Presentamos un nuevo paradigma de recogida de datos, RoboCrowd, que reparte la carga de trabajo aplicando principios de crowdsourcing y diseño de incentivos. RoboCrowd ayuda a hacer posible una recogida de datos escalable y facilita un aprendizaje más eficiente de las políticas de robots. Construimos RoboCrowd sobre ALOHA (Zhao et al. 2023), una plataforma bimanual que permite recoger datos mediante puppeteering, para explorar el espacio de diseño del crowdsourcing de demostraciones presenciales en un entorno público. Proponemos tres clases de mecanismos de incentivo que apelan a las distintas fuentes de motivación de los usuarios para interactuar con el sistema: recompensas materiales, interés intrínseco y comparación social. Concretamos estos incentivos mediante tareas que incluyen recompensas físicas, manipulaciones atractivas o desafiantes, así como elementos de gamificación como una clasificación. Realizamos un experimento de campo a gran escala de dos semanas en el que la plataforma se sitúa en una cafetería universitaria. Observamos una participación significativa con el sistema: más de 200 personas se ofrecieron voluntariamente y de forma independiente a aportar un total de más de 800 episodios de interacción. Nuestros resultados validan los incentivos propuestos como mecanismos para moldear la cantidad y la calidad de los datos de los usuarios. Además, demostramos que los datos obtenidos por crowdsourcing pueden servir como datos útiles de preentrenamiento para políticas ajustadas con demostraciones de expertos, con una mejora del rendimiento de hasta el 20 % respecto a cuando estos datos no están disponibles. Estos resultados sugieren el potencial de RoboCrowd para reducir la carga de la recogida de datos robóticos aplicando con cuidado principios de crowdsourcing y de diseño de incentivos.

Enlaces

• arXiv 2411.01915: https://arxiv.org/abs/2411.01915
• DOI 10.1109/ICRA55743.2025.11127402: https://doi.org/10.1109/ICRA55743.2025.11127402
• PDF: https://arxiv.org/pdf/2411.01915v1
• Página del proyecto: https://robocrowd.github.io/