RoboCrowd: Scaling Robot Data Collection through Crowdsourcing

著者: Suvir Mirchandani, David D. Yuan, Kaylee Burns, Md Sazzad Islam, Tony Z. Zhao, Chelsea Finn, Dorsa Sadigh · ICRA 2025

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

大学のカフェに置かれた ALOHA 遠隔操作ステーションが、キャンディの報酬、魅力的なタスク、リーダーボードを用いて 231 人から 817 エピソードを収集した。このデータは ACT の事前学習として役立つ。

重要な理由

本研究は、指定されたオペレーターではなく一般の人々が、その場で有用なロボットのデモンストレーションを提供できるか、そしてどのインセンティブがデモンストレーションの量と質を変えるかを検証している。測定されたインセンティブの効果と品質注釈付きのデータセットは、公共または共有のデータ収集ステーションを計画するすべての人に具体的な設計データを提供する。

課題

模倣学習にはタスクあたり数百から数千のデモンストレーションが必要であり、それらはいまだに研究者や指定されたオペレーターによって収集されている。クラウドソーシングはウェブインターフェースを通じたテキストや画像のラベル付けでは機能するが、ロボットのデモンストレーションには、物理的なハードウェアへのアクセス、十分な能力を持つロボット、初心者が一人でこなせるオンボーディング、そして訓練を受けていないユーザーの安全が必要となる。

提案手法

RoboCrowd は、囲いのある ALOHA 双腕パペッティアリング装置を公共のカフェに設置し、安全機能（並列実行される MuJoCo シミュレーションでの自己衝突チェック、視聴覚アラーム、アクリル板の囲い）、ID カードによるサインイン、1 分未満の対話型チュートリアル、タブレットアプリを備える。三つのクラスのインセンティブが行動を方向付ける。物質的報酬（End Zone に届けられるキャンディ）、内発的関心（Ziploc の袋を開けるなどのより難しいタスク）、社会的比較（ポイントのリーダーボード）である。各エピソードには、タイムステップごとにタスクラベルと 0 から 3 の品質スコアが手作業で注釈付けされ、その後 ACT ポリシーの共同学習または事前学習に用いられる。

主な知見

好まれる物質的報酬は労力の配分を変える。難易度がほぼ同じ二つのビンピッキングタスクのうち、ユーザーは hi-chew に tootsie-roll の 2× のタイムステップを費やした（調査した 16 人のうち 81% が Hi-Chew を好んだ）。
報酬が同じでも内発的関心は影響する。ユーザーは hi-chew-ziploc に hi-chew-bin の 4.18× のタイムステップを費やし、Hershey Kiss がやや好まれていたにもかかわらず、jelly-bean には hershey-kiss の 1.5× を費やした。
Mann-Whitney の U 検定において、リーダーボードを訪れたユーザーは有意に多くのデモンストレーション（p<0.001）を、より高い平均品質（p<0.05）で提供した。
クラウドのデータを熟練者のデータと単純に混ぜると性能を損なうことがあるが、それで事前学習してから熟練者のデータでファインチューニングすると、役立つことが多い。
チュートリアルでの品質は、その後のタスクの品質を大まかに予測し、デモンストレーターの最初のフィルタとして機能しうる。

主な結果

2 週間の展開（収集日は 11 日）：ユニークユーザー 231 人、インタラクションエピソード 817（BinScene で 129、Bin+DispenserScene で 381、Bin+ZiplocScene で 307）。
インタラクション時間の内訳：プリセットタスクに 54.2%、チュートリアルに 9.6%、自由操作に 36.1%。
ビンピッキングの成功率、Fine-tune 対 Expert-only の ACT（各 40 試行）：hi-chew 42.5% 対 37.5%、hershey-kiss 35% 対 20%、hi-chew-bin 40% 対 20%。tootsie-roll は 40% 対 42.5%。
長期タスク（どのポリシーも完全成功は 0% で、100 点満点の正規化リターンで採点）：hi-chew-ziploc では Fine-tune 22.1 対 Expert 5.4。jelly-bean では 19.7 対 48.9 で、クラウドのデータが性能を損なった。
新しいタスク tool-ziploc（熟練者のデモ 50 件）：クラウドの hi-chew-ziploc データで事前学習すると、角をつかむ、タブをつまむ、スライドして開けるの各段階の成功率は 95% / 85% / 80% となり、事前学習なしの 85% / 70% / 60% を上回った。

制限事項

クラウドソーシングにはデータの品質と不均一性の問題が伴う。単純な共同学習は、いくつかのタスクで熟練者のデータのみによる学習に劣った（例：hi-chew で 27.5% 対 37.5%）。
クラウドのデータには、キャンディを一度に複数つかむなど、意味はあるが最適ではない行動が含まれており、学習したポリシーはそれを再現する。
検討されたインセンティブは 3 種類のみである。著者らは、物理的な報酬と金銭的な報酬がどう異なるかといった未解決の問題を挙げている。
品質ラベルは手作業で注釈付けされており、長期タスクではすべてのポリシーで完全成功が 0% であった。
ポリシーは、収集中に照明が変化したカフェではなく、照明が一定の別の場所で評価された。

分野への影響

本論文は ICRA 2025 IEEE ICRA Best Conference Paper Award のファイナリストであり、被引用数は 11 である。200 人を超えるユーザーから集め、手作業による細かな品質注釈を付けたクラウドソーシングデータセットを今後の研究のためのリソースとして提示しているが、論文にもプロジェクトページにもコードやデータセットのダウンロードリンクはない。

概要

近年、大規模な人間のデモンストレーションからの模倣学習は、ロボットポリシーを学習するための有望なパラダイムとして浮上している。しかし、大量の人間のデモンストレーションを収集する負担は、収集時間の面でも、熟練したオペレーターを確保する必要性の面でも大きい。我々は、クラウドソーシングの原理とインセンティブ設計を活用して作業負荷を分散する新しいデータ収集パラダイム RoboCrowd を提案する。RoboCrowd はスケーラブルなデータ収集を可能にし、ロボットポリシーのより効率的な学習を促す。我々は、パペッティアリング（puppeteering）によるデータ収集をサポートする双腕プラットフォームである ALOHA（Zhao et al. 2023）の上に RoboCrowd を構築し、公共の環境で対面のデモンストレーションをクラウドソーシングするための設計空間を探る。システムと関わるユーザーのさまざまな動機に訴えるため、物質的報酬、内発的関心、社会的比較という三つのクラスのインセンティブメカニズムを提案する。これらのインセンティブは、物理的な報酬、魅力的または挑戦的なマニピュレーション、そしてリーダーボードのようなゲーミフィケーション要素を含むタスクによって具体化される。プラットフォームを大学のカフェに設置し、2 週間にわたる大規模なフィールド実験を実施した。システムへの顕著な関与が観察され、200 人を超える個人が自発的に参加して合計 800 を超えるインタラクションエピソードを提供した。我々の知見は、提案したインセンティブが、ユーザーのデータの量と質を方向付けるメカニズムとして有効であることを裏付けている。さらに、クラウドソーシングしたデータが、熟練者のデモンストレーションでファインチューニングされるポリシーの有用な事前学習データとなり、このデータがない場合と比べて性能を最大 20% 向上させることを示す。これらの結果は、クラウドソーシングとインセンティブ設計の原理を慎重に実装することで、RoboCrowd がロボットのデータ収集の負担を軽減できる可能性を示唆している。

リンク

arXiv 2411.01915: https://arxiv.org/abs/2411.01915
DOI 10.1109/ICRA55743.2025.11127402: https://doi.org/10.1109/ICRA55743.2025.11127402
PDF: https://arxiv.org/pdf/2411.01915v1
プロジェクトページ: https://robocrowd.github.io/