RoboCrowd: Scaling Robot Data Collection through Crowdsourcing

作者: Suvir Mirchandani, David D. Yuan, Kaylee Burns, Md Sazzad Islam, Tony Z. Zhao, Chelsea Finn, Dorsa Sadigh · ICRA 2025

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个设在大学咖啡馆里的 ALOHA 遥操作工作站，利用糖果奖励、有吸引力的任务和排行榜，从 231 人那里收集了 817 个回合；这些数据作为 ACT 的预训练数据有帮助。

为何重要

它检验了普通公众（而非指定的操作员）能否在现场提供有用的机器人示范，以及哪些激励会改变他们示范的数量和质量。测得的激励效果和带质量标注的数据集，为任何计划设立公共或共享数据收集工作站的人提供了具体的设计数据。

问题

模仿学习每项任务需要数百到数千个示范，而这些示范仍由研究人员或指定的操作员收集。众包通过网页界面对文本和图像标注行之有效，但机器人示范需要接触实体硬件、一台能力足够的机器人、新手能独立完成的上手引导，以及对未受训练用户的安全保障。

提出的方法

RoboCrowd 在一家公共咖啡馆中放置一套封闭的 ALOHA 双臂主从操控装置，配有安全功能（在并行的 MuJoCo 仿真中进行自碰撞检查、声光报警、有机玻璃外罩）、ID 卡签到、时长不到一分钟的交互式教程和一个平板应用。三类激励塑造用户行为：物质奖励（糖果送到 End Zone）、内在兴趣（更难的任务，例如打开 Ziploc 袋）和社会比较（积分排行榜）。每个回合都按时间步人工标注任务标签和 0 到 3 的质量分数，然后用于联合训练或预训练 ACT 策略。

关键见解

• 偏好的物质奖励会转移投入：在难度几乎相同的两个料箱拣选任务中，用户在 hi-chew 上花费的时间步是 tootsie-roll 的 2×（16 名受访者中有 81% 更喜欢 Hi-Chew）。
• 即使奖励相同，内在兴趣也有影响：用户在 hi-chew-ziploc 上花费的时间步是 hi-chew-bin 的 4.18×；尽管略微更偏好 Hershey Kiss，用户在 jelly-bean 上花费的时间步仍是 hershey-kiss 的 1.5×。
• 在 Mann-Whitney U 检验中，访问过排行榜的用户提供的示范明显更多（p<0.001），平均质量也更高（p<0.05）。
• 简单地把众包数据与专家数据混合可能有害，而先在众包数据上预训练、再在专家数据上微调则更常带来帮助。
• 教程中的表现质量大致能预测之后任务的质量，可作为筛选示范者的第一道过滤。

主要结果

• 在为期两周的部署中（11 个收集日）：231 名独立用户和 817 个交互回合（BinScene 中 129 个，Bin+DispenserScene 中 381 个，Bin+ZiplocScene 中 307 个）。
• 交互时间分布：54.2% 用于预设任务，9.6% 用于教程，36.1% 用于自由操作。
• 料箱拣选成功率，Fine-tune 与 Expert-only ACT 对比（各 40 次试验）：hi-chew 42.5% 对 37.5%，hershey-kiss 35% 对 20%，hi-chew-bin 40% 对 20%；tootsie-roll 40% 对 42.5%。
• 长时程任务（所有策略的完整成功率均为 0%，按满分 100 的归一化回报评分）：hi-chew-ziploc 上 Fine-tune 为 22.1，Expert 为 5.4；jelly-bean 上为 19.7 对 48.9，此处众包数据产生了负面影响。
• 新任务 tool-ziploc（50 个专家示范）：在众包的 hi-chew-ziploc 数据上预训练后，抓住边角、捏住拉片和滑动打开三个阶段的成功率提高到 95% / 85% / 80%，而不预训练时为 85% / 70% / 60%。

局限

• 众包带来数据质量和异质性问题；简单的联合训练在若干任务上不如仅用专家数据训练（例如 hi-chew 为 27.5% 对 37.5%）。
• 众包数据中包含有意义但非最优的行为，例如一次抓取好几颗糖果，训练出的策略会重现这些行为。
• 只研究了三种激励类型；作者指出了一些尚未解决的问题，例如实物奖励与金钱奖励有何不同。
• 质量标签由人工标注，且所有策略在长时程任务上的完整成功率都为 0%。
• 策略是在另一个光照稳定的地点评估的，而不是在收集期间光照不断变化的咖啡馆中。

对领域的影响

该论文入围 ICRA 2025 IEEE ICRA 最佳会议论文奖决选，被引用 11 次。论文把其众包数据集（来自 200 多名用户，带有人工细粒度质量标注）作为供未来研究使用的资源加以介绍；论文及其项目页面均未提供代码或数据集的下载链接。

摘要

近年来，基于大规模人类示范的模仿学习已成为训练机器人策略的一种有前景的范式。然而，收集大量人类示范的负担很重，既体现在收集时间上，也体现在需要能接触到专家操作员上。我们提出一种新的数据收集范式 RoboCrowd，它利用众包原则和激励设计来分摊工作量。RoboCrowd 有助于实现可扩展的数据收集，并促进更高效的机器人策略学习。我们在 ALOHA（Zhao et al. 2023）之上构建 RoboCrowd——这是一个支持通过主从式操控（puppeteering）收集数据的双臂平台——以探索在公共环境中众包现场示范的设计空间。我们提出三类激励机制，以迎合用户与系统交互的不同动机来源：物质奖励、内在兴趣和社会比较。我们通过多种任务来实现这些激励，包括实物奖励、有吸引力或有挑战性的操作，以及排行榜等游戏化元素。我们开展了一项为期两周的大规模实地实验，将该平台放置在一家大学咖啡馆中。我们观察到用户对系统的大量参与——超过 200 人自愿参与，共提供了超过 800 个交互回合。我们的研究结果验证了所提出的激励可以作为影响用户数据数量和质量的机制。此外，我们证明众包数据可以作为有用的预训练数据，用于随后在专家示范上微调的策略——与没有这些数据时相比，性能最多提升 20%。这些结果表明，通过精心实施众包和激励设计原则，RoboCrowd 有潜力减轻机器人数据收集的负担。

链接

• arXiv 2411.01915: https://arxiv.org/abs/2411.01915
• DOI 10.1109/ICRA55743.2025.11127402: https://doi.org/10.1109/ICRA55743.2025.11127402
• PDF: https://arxiv.org/pdf/2411.01915v1
• 项目主页: https://robocrowd.github.io/