RoboCrowd: Scaling Robot Data Collection through Crowdsourcing

作者: Suvir Mirchandani, David D. Yuan, Kaylee Burns, Md Sazzad Islam, Tony Z. Zhao, Chelsea Finn, Dorsa Sadigh · ICRA 2025

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一座設在大學咖啡館裡的 ALOHA 遠端操作工作站，利用糖果獎勵、引人入勝的任務與排行榜，從 231 人蒐集到 817 個回合；這些資料作為 ACT 的預訓練資料有幫助。

為何重要

它檢驗了一般民眾（而非指定的操作員）能否在現場提供有用的機器人示範，以及哪些誘因會改變他們示範的數量與品質。量測到的誘因效果與附有品質標註的資料集，為任何打算設置公共或共用資料蒐集工作站的人提供了具體的設計資料。

問題

模仿學習每項任務需要數百到數千個示範，而這些示範仍由研究人員或指定的操作員蒐集。群眾外包透過網頁介面處理文字與影像標註相當有效，但機器人示範需要接觸實體硬體、一台能力足夠的機器人、新手能獨自完成的上手引導，以及對未受訓使用者的安全保障。

提出的方法

RoboCrowd 在一間公共咖啡館中設置一套封閉式 ALOHA 雙臂主從操控裝置，具備安全功能（在平行執行的 MuJoCo 模擬中進行自我碰撞檢查、聲光警報、壓克力外罩）、ID 卡簽到、不到一分鐘的互動式教學，以及一個平板應用程式。三類誘因形塑使用者行為：物質獎勵（糖果送到 End Zone）、內在興趣（較難的任務，例如打開 Ziploc 袋）與社會比較（積分排行榜）。每個回合都依時間步以人工標註任務標籤與 0 到 3 的品質分數，再用於共同訓練或預訓練 ACT 策略。

關鍵見解

• 偏好的物質獎勵會轉移投入：在難度幾乎相同的兩項料箱揀取任務中，使用者花在 hi-chew 上的時間步是 tootsie-roll 的 2×（16 位受訪者中有 81% 偏好 Hi-Chew）。
• 即使獎勵相同，內在興趣也有影響：使用者花在 hi-chew-ziploc 上的時間步是 hi-chew-bin 的 4.18×；儘管略偏好 Hershey Kiss，花在 jelly-bean 上的時間步仍是 hershey-kiss 的 1.5×。
• 在 Mann-Whitney U 檢定中，看過排行榜的使用者提供的示範明顯較多（p<0.001），平均品質也較高（p<0.05）。
• 單純把群眾資料與專家資料混在一起可能有害，而先用群眾資料預訓練、再用專家資料微調，則較常帶來幫助。
• 教學環節的品質大致能預測之後任務的品質，可作為篩選示範者的第一道關卡。

主要結果

• 在為期兩週的部署中（11 個蒐集日）：231 位不重複使用者與 817 個互動回合（BinScene 中 129 個，Bin+DispenserScene 中 381 個，Bin+ZiplocScene 中 307 個）。
• 互動時間分配：54.2% 用於預設任務，9.6% 用於教學，36.1% 用於自由操作。
• 料箱揀取成功率，Fine-tune 與 Expert-only ACT 比較（各 40 次試驗）：hi-chew 42.5% 對 37.5%，hershey-kiss 35% 對 20%，hi-chew-bin 40% 對 20%；tootsie-roll 40% 對 42.5%。
• 長時程任務（每個策略的完整成功率都是 0%，以滿分 100 的正規化回報計分）：hi-chew-ziploc 上 Fine-tune 為 22.1，Expert 為 5.4；jelly-bean 上為 19.7 對 48.9，這裡群眾資料反而有害。
• 新任務 tool-ziploc（50 個專家示範）：以群眾的 hi-chew-ziploc 資料預訓練後，抓住邊角、捏住拉片與滑動打開三個階段的成功率提高到 95% / 85% / 80%，未預訓練時為 85% / 70% / 60%。

限制

• 群眾外包帶來資料品質與異質性的問題；單純的共同訓練在數項任務上不如只用專家資料訓練（例如 hi-chew 為 27.5% 對 37.5%）。
• 群眾資料中包含有意義但非最佳的行為，例如一次拿好幾顆糖果，而訓練出的策略會重現這些行為。
• 只研究了三種誘因類型；作者指出一些尚待解答的問題，例如實體獎勵與金錢獎勵有何不同。
• 品質標籤是人工標註的，而所有策略在長時程任務上的完整成功率都是 0%。
• 策略是在另一個光線穩定的地點評估，而非在蒐集期間光線不斷變化的咖啡館中。

對領域的影響

這篇論文入圍 ICRA 2025 IEEE ICRA 最佳會議論文獎決選，被引用 11 次。論文把其群眾外包資料集（來自 200 多位使用者，附有人工細緻的品質標註）作為供未來研究使用的資源；論文與其專案頁面都沒有提供程式碼或資料集的下載連結。

摘要

近年來，從大規模人類示範進行模仿學習，已成為訓練機器人策略的一種有前景的範式。然而，蒐集大量人類示範的負擔相當沉重，無論是蒐集時間，還是需要接觸專家操作員。我們提出一種新的資料蒐集範式 RoboCrowd，運用群眾外包原則與誘因設計來分攤工作量。RoboCrowd 有助於實現可擴展的資料蒐集，並促進更有效率的機器人策略學習。我們在 ALOHA（Zhao et al. 2023）之上建構 RoboCrowd——這是一個支援透過主從式操控（puppeteering）蒐集資料的雙臂平台——以探索在公共環境中以群眾外包方式蒐集現場示範的設計空間。我們提出三類誘因機制，以迎合使用者與系統互動的不同動機來源：物質獎勵、內在興趣與社會比較。我們透過多種任務實現這些誘因，包括實體獎勵、引人入勝或具挑戰性的操作，以及排行榜等遊戲化元素。我們進行了一項為期兩週的大規模實地實驗，將平台設置在一間大學咖啡館中。我們觀察到使用者對系統的高度參與——超過 200 人自願參與，總共提供了超過 800 個互動回合。研究結果驗證了所提出的誘因可作為形塑使用者資料數量與品質的機制。此外，我們證明群眾外包的資料可以作為有用的預訓練資料，供之後以專家示範微調的策略使用——與沒有這些資料時相比，效能最多提升 20%。這些結果顯示，透過審慎落實群眾外包與誘因設計原則，RoboCrowd 有潛力減輕機器人資料蒐集的負擔。

連結

• arXiv 2411.01915: https://arxiv.org/abs/2411.01915
• DOI 10.1109/ICRA55743.2025.11127402: https://doi.org/10.1109/ICRA55743.2025.11127402
• PDF: https://arxiv.org/pdf/2411.01915v1
• 專案頁面: https://robocrowd.github.io/