RoboCrowd: Scaling Robot Data Collection through Crowdsourcing

Autori: Suvir Mirchandani, David D. Yuan, Kaylee Burns, Md Sazzad Islam, Tony Z. Zhao, Chelsea Finn, Dorsa Sadigh · ICRA 2025

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Una postazione di teleoperazione ALOHA in un bar universitario ha usato caramelle come ricompensa, compiti coinvolgenti e una classifica per raccogliere 817 episodi da 231 persone; i dati sono utili come preaddestramento per ACT.

Perché è importante

Verifica se il pubblico, invece di operatori designati, possa fornire di persona dimostrazioni robotiche utili, e quali incentivi cambino quanto e quanto bene le persone dimostrano. Gli effetti misurati degli incentivi e il dataset annotato per qualità forniscono dati di progettazione concreti a chi pianifica una postazione di raccolta dati pubblica o condivisa.

Problema

L'apprendimento per imitazione richiede da centinaia a migliaia di dimostrazioni per compito, che vengono ancora raccolte da ricercatori o operatori designati. Il crowdsourcing funziona per le etichette di testi e immagini tramite interfacce web, ma le dimostrazioni robotiche richiedono l'accesso a hardware fisico, un robot capace, un'introduzione che i principianti possano seguire da soli e la sicurezza per utenti non formati.

Soluzione proposta

RoboCrowd colloca una postazione chiusa di puppeteering bimanuale ALOHA in un bar pubblico, con funzioni di sicurezza (controllo delle autocollisioni in una simulazione parallela in MuJoCo, un allarme audiovisivo, una protezione in plexiglas), accesso con tessera identificativa (ID), un tutorial interattivo di meno di un minuto e un'app per tablet. Tre classi di incentivi orientano il comportamento: ricompense materiali (caramelle consegnate in una End Zone), interesse intrinseco (compiti più difficili come aprire un sacchetto Ziploc) e confronto sociale (una classifica a punti). Ogni episodio viene annotato a mano a ogni passo temporale con etichette di compito e punteggi di qualità da 0 a 3, poi usato per co-addestrare o preaddestrare policy ACT.

Idee chiave

Le ricompense materiali preferite spostano l'impegno: gli utenti hanno dedicato 2× più passi temporali a hi-chew che a tootsie-roll, due compiti di bin picking di difficoltà quasi identica (l'81 % di 16 persone intervistate preferiva una Hi-Chew).
L'interesse intrinseco conta anche a parità di ricompensa: gli utenti hanno dedicato 4,18× più passi temporali a hi-chew-ziploc che a hi-chew-bin, e 1,5× in più a jelly-bean che a hershey-kiss nonostante una lieve preferenza per l'Hershey Kiss.
Chi ha visitato la classifica ha fornito significativamente più dimostrazioni (p<0,001) e di qualità media più alta (p<0,05) in un test U di Mann-Whitney.
Mescolare in modo ingenuo i dati del pubblico con quelli degli esperti può peggiorare i risultati, mentre preaddestrare su di essi e poi fare fine-tuning sui dati degli esperti aiuta più spesso.
La qualità nel tutorial predice a grandi linee la qualità successiva nei compiti e può fungere da primo filtro sui dimostratori.

Risultati principali

In un'installazione di due settimane (11 giorni di raccolta): 231 utenti unici e 817 episodi di interazione (129 in BinScene, 381 in Bin+DispenserScene, 307 in Bin+ZiplocScene).
Ripartizione del tempo di interazione: 54,2 % sui compiti predefiniti, 9,6 % sul tutorial e 36,1 % sul gioco libero.
Successo nel bin picking, ACT Fine-tune contro Expert-only (40 prove ciascuno): hi-chew 42,5 % contro 37,5 %, hershey-kiss 35 % contro 20 %, hi-chew-bin 40 % contro 20 %; tootsie-roll 40 % contro 42,5 %.
Compiti a lungo orizzonte (0 % di successo completo per ogni policy, valutati con il ritorno normalizzato su 100): hi-chew-ziploc 22,1 Fine-tune contro 5,4 Expert; jelly-bean 19,7 contro 48,9, dove i dati del pubblico hanno peggiorato i risultati.
Nuovo compito tool-ziploc (50 dimostrazioni di esperti): il preaddestramento sui dati del pubblico di hi-chew-ziploc ha portato il successo per fasi a 95 % / 85 % / 80 % contro 85 % / 70 % / 60 % per afferrare l'angolo, pizzicare la linguetta e aprire facendo scorrere.

Limiti

Il crowdsourcing comporta problemi di qualità ed eterogeneità dei dati; il co-addestramento ingenuo ha reso meno dell'addestramento solo con esperti in diversi compiti (ad esempio hi-chew 27,5 % contro 37,5 %).
I dati del pubblico contengono comportamenti sensati ma subottimi, come prendere più caramelle alla volta, che le policy addestrate riproducono.
Sono stati studiati solo tre tipi di incentivi; gli autori segnalano questioni aperte, come la differenza tra ricompense fisiche e monetarie.
Le etichette di qualità sono state annotate a mano, e i compiti a lungo orizzonte hanno raggiunto lo 0 % di successo completo con tutte le policy.
Le policy sono state valutate in un luogo diverso con illuminazione costante, non nel bar, dove l'illuminazione variava durante la raccolta.

Impatto sul settore

L'articolo è stato finalista dell'ICRA 2025 IEEE ICRA Best Conference Paper Award e ha 11 citazioni. Presenta il suo dataset raccolto in crowdsourcing, da oltre 200 utenti con annotazioni di qualità manuali e dettagliate, come risorsa per lavori futuri; né l'articolo né la pagina del progetto forniscono un link per scaricare il codice o il dataset.

Abstract

Negli ultimi anni, l'apprendimento per imitazione da dimostrazioni umane su larga scala si è affermato come un paradigma promettente per addestrare le policy dei robot. Tuttavia, l'onere di raccogliere grandi quantità di dimostrazioni umane è notevole in termini di tempo di raccolta e di necessità di accedere a operatori esperti. Introduciamo un nuovo paradigma di raccolta dati, RoboCrowd, che distribuisce il carico di lavoro sfruttando principi di crowdsourcing e di progettazione degli incentivi. RoboCrowd aiuta a rendere possibile una raccolta dati scalabile e facilita un apprendimento più efficiente delle policy dei robot. Costruiamo RoboCrowd sulla base di ALOHA (Zhao et al. 2023), una piattaforma bimanuale che supporta la raccolta dati tramite puppeteering, per esplorare lo spazio di progettazione del crowdsourcing di dimostrazioni in presenza in un ambiente pubblico. Proponiamo tre classi di meccanismi di incentivo per fare leva sulle diverse fonti di motivazione degli utenti nell'interagire con il sistema: ricompense materiali, interesse intrinseco e confronto sociale. Concretizziamo questi incentivi attraverso compiti che includono ricompense fisiche, manipolazioni coinvolgenti o impegnative, oltre a elementi di gamification come una classifica. Conduciamo un esperimento sul campo su larga scala, della durata di due settimane, in cui la piattaforma è collocata in un bar universitario. Osserviamo un coinvolgimento significativo con il sistema: oltre 200 persone si sono offerte volontarie in modo indipendente fornendo in totale oltre 800 episodi di interazione. I nostri risultati convalidano gli incentivi proposti come meccanismi per orientare la quantità e la qualità dei dati degli utenti. Inoltre, dimostriamo che i dati raccolti in crowdsourcing possono servire come utili dati di preaddestramento per policy sottoposte a fine-tuning su dimostrazioni di esperti, migliorando le prestazioni fino al 20 % rispetto a quando questi dati non sono disponibili. Questi risultati suggeriscono il potenziale di RoboCrowd per ridurre l'onere della raccolta di dati robotici applicando con attenzione principi di crowdsourcing e di progettazione degli incentivi.

Link

arXiv 2411.01915: https://arxiv.org/abs/2411.01915
DOI 10.1109/ICRA55743.2025.11127402: https://doi.org/10.1109/ICRA55743.2025.11127402
PDF: https://arxiv.org/pdf/2411.01915v1
Pagina del progetto: https://robocrowd.github.io/