RoboCrowd: Scaling Robot Data Collection through Crowdsourcing

Autores: Suvir Mirchandani, David D. Yuan, Kaylee Burns, Md Sazzad Islam, Tony Z. Zhao, Chelsea Finn, Dorsa Sadigh · ICRA 2025

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Uma estação de teleoperação ALOHA em uma cafeteria universitária usou balas como recompensa, tarefas envolventes e um ranking para coletar 817 episódios de 231 pessoas; os dados ajudam como pré-treinamento para o ACT.

Por que importa

O trabalho testa se o público, em vez de operadores designados, pode fornecer pessoalmente demonstrações úteis para robôs, e quais incentivos mudam quanto e quão bem as pessoas demonstram. Os efeitos medidos dos incentivos e o conjunto de dados anotado por qualidade fornecem dados concretos de design para quem planeja uma estação de coleta de dados pública ou compartilhada.

Problema

O aprendizado por imitação precisa de centenas a milhares de demonstrações por tarefa, e elas ainda são coletadas por pesquisadores ou operadores designados. O crowdsourcing funciona para rótulos de texto e imagem por meio de interfaces web, mas demonstrações robóticas exigem acesso a hardware físico, um robô capaz, uma integração que iniciantes consigam seguir sozinhos e segurança para usuários sem treinamento.

Solução proposta

O RoboCrowd coloca uma montagem fechada de puppeteering bimanual ALOHA em uma cafeteria pública com recursos de segurança (verificação de autocolisão em uma simulação paralela no MuJoCo, um alarme audiovisual, um invólucro de acrílico), login com cartão de identificação (ID), um tutorial interativo de menos de um minuto e um aplicativo para tablet. Três classes de incentivo moldam o comportamento: recompensas materiais (balas entregues em uma End Zone), interesse intrínseco (tarefas mais difíceis, como abrir um saco Ziploc) e comparação social (um ranking de pontos). Cada episódio é anotado à mão a cada passo de tempo com rótulos de tarefa e notas de qualidade de 0 a 3 e depois usado para cotreinar ou pré-treinar políticas ACT.

Principais ideias

Recompensas materiais preferidas deslocam o esforço: os usuários dedicaram 2× mais passos de tempo a hi-chew do que a tootsie-roll, duas tarefas de bin picking de dificuldade quase idêntica (81 % de 16 pessoas consultadas preferiam um Hi-Chew).
O interesse intrínseco importa mesmo com recompensas iguais: os usuários dedicaram 4,18× mais passos de tempo a hi-chew-ziploc do que a hi-chew-bin, e 1,5× mais a jelly-bean do que a hershey-kiss, apesar de uma leve preferência pelo Hershey Kiss.
Quem visitou o ranking deu significativamente mais demonstrações (p<0,001) e de maior qualidade média (p<0,05) em um teste U de Mann-Whitney.
Misturar de forma ingênua os dados do público com dados de especialistas pode prejudicar, enquanto pré-treinar com eles e depois ajustar com dados de especialistas ajuda com mais frequência.
A qualidade no tutorial prevê de forma aproximada a qualidade posterior nas tarefas e pode servir como primeiro filtro dos demonstradores.

Principais resultados

Em uma implantação de duas semanas (11 dias de coleta): 231 usuários únicos e 817 episódios de interação (129 em BinScene, 381 em Bin+DispenserScene, 307 em Bin+ZiplocScene).
Divisão do tempo de interação: 54,2 % em tarefas predefinidas, 9,6 % no tutorial e 36,1 % em uso livre.
Sucesso em bin picking, ACT Fine-tune contra Expert-only (40 tentativas cada): hi-chew 42,5 % contra 37,5 %, hershey-kiss 35 % contra 20 %, hi-chew-bin 40 % contra 20 %; tootsie-roll 40 % contra 42,5 %.
Tarefas de horizonte longo (0 % de sucesso completo para todas as políticas, pontuadas pelo retorno normalizado de 0 a 100): hi-chew-ziploc 22,1 Fine-tune contra 5,4 Expert; jelly-bean 19,7 contra 48,9, onde os dados do público prejudicaram.
Nova tarefa tool-ziploc (50 demonstrações de especialistas): pré-treinar com os dados do público de hi-chew-ziploc elevou o sucesso por etapas para 95 % / 85 % / 80 % contra 85 % / 70 % / 60 % para agarrar o canto, pinçar a aba e deslizar para abrir.

Limitações

O crowdsourcing traz problemas de qualidade e heterogeneidade dos dados; o cotreinamento ingênuo teve desempenho inferior ao treinamento só com especialistas em várias tarefas (por exemplo, hi-chew 27,5 % contra 37,5 %).
Os dados do público contêm comportamentos significativos, mas subótimos, como pegar várias balas de uma vez, que as políticas treinadas reproduzem.
Apenas três tipos de incentivo foram estudados; os autores apontam questões em aberto, como a diferença entre recompensas físicas e monetárias.
Os rótulos de qualidade foram anotados à mão, e as tarefas de horizonte longo chegaram a 0 % de sucesso completo para todas as políticas.
As políticas foram avaliadas em outro local com iluminação constante, e não na cafeteria, onde a iluminação variou durante a coleta.

Impacto na área

O artigo foi finalista do ICRA 2025 IEEE ICRA Best Conference Paper Award e tem 11 citações. Ele apresenta seu conjunto de dados obtido por crowdsourcing, de mais de 200 usuários com anotações de qualidade manuais e detalhadas, como recurso para trabalhos futuros; nem o artigo nem a página do projeto fornecem um link para baixar o código ou o conjunto de dados.

Resumo

Nos últimos anos, o aprendizado por imitação a partir de demonstrações humanas em larga escala surgiu como um paradigma promissor para treinar políticas de robôs. No entanto, o ônus de coletar grandes quantidades de demonstrações humanas é significativo em termos de tempo de coleta e da necessidade de acesso a operadores especialistas. Apresentamos um novo paradigma de coleta de dados, o RoboCrowd, que distribui a carga de trabalho usando princípios de crowdsourcing e design de incentivos. O RoboCrowd ajuda a viabilizar a coleta de dados escalável e facilita um aprendizado mais eficiente de políticas de robôs. Construímos o RoboCrowd sobre o ALOHA (Zhao et al. 2023), uma plataforma bimanual que permite a coleta de dados por puppeteering, para explorar o espaço de design do crowdsourcing de demonstrações presenciais em um ambiente público. Propomos três classes de mecanismos de incentivo para atrair as diferentes fontes de motivação dos usuários para interagir com o sistema: recompensas materiais, interesse intrínseco e comparação social. Concretizamos esses incentivos por meio de tarefas que incluem recompensas físicas, manipulações envolventes ou desafiadoras, além de elementos de gamificação como um ranking. Realizamos um experimento de campo em larga escala, de duas semanas, no qual a plataforma fica em uma cafeteria universitária. Observamos um engajamento significativo com o sistema: mais de 200 pessoas se ofereceram de forma independente para fornecer um total de mais de 800 episódios de interação. Nossos resultados validam os incentivos propostos como mecanismos para moldar a quantidade e a qualidade dos dados dos usuários. Além disso, demonstramos que os dados obtidos por crowdsourcing podem servir como dados úteis de pré-treinamento para políticas ajustadas com demonstrações de especialistas, aumentando o desempenho em até 20 % em comparação com quando esses dados não estão disponíveis. Esses resultados sugerem o potencial do RoboCrowd para reduzir o ônus da coleta de dados robóticos com a implementação cuidadosa de princípios de crowdsourcing e de design de incentivos.

Open Source Robotics