RoboCrowd: Scaling Robot Data Collection through Crowdsourcing

저자: Suvir Mirchandani, David D. Yuan, Kaylee Burns, Md Sazzad Islam, Tony Z. Zhao, Chelsea Finn, Dorsa Sadigh · ICRA 2025

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

대학 카페의 ALOHA 원격 조작 스테이션이 사탕 보상, 흥미로운 작업, 리더보드를 활용해 231명에게서 에피소드 817개를 수집했다. 이 데이터는 ACT의 사전 학습에 도움이 된다.

중요한 이유

이 연구는 지정된 조작자가 아닌 일반 대중이 현장에서 유용한 로봇 시연을 제공할 수 있는지, 그리고 어떤 인센티브가 시연의 양과 질을 바꾸는지를 시험한다. 측정된 인센티브 효과와 품질 주석이 달린 데이터셋은 공공 또는 공유 데이터 수집 스테이션을 계획하는 누구에게나 구체적인 설계 자료를 제공한다.

문제

모방 학습은 작업당 수백에서 수천 개의 시연을 필요로 하며, 이는 여전히 연구자나 지정된 조작자가 수집한다. 크라우드소싱은 웹 인터페이스를 통한 텍스트 및 이미지 레이블에는 효과가 있지만, 로봇 시연에는 물리적 하드웨어에 대한 접근, 성능 좋은 로봇, 초보자가 혼자 따라 할 수 있는 온보딩, 훈련받지 않은 사용자를 위한 안전성이 필요하다.

제안 방법

RoboCrowd는 안전 기능(병렬 MuJoCo 시뮬레이션에서의 자기 충돌 검사, 시청각 경보, 플렉시글라스 외함), ID 카드 로그인, 1분 미만의 대화형 튜토리얼, 태블릿 앱을 갖춘 밀폐형 ALOHA 양팔 퍼피티어링 장치를 공공 카페에 설치한다. 세 가지 인센티브 범주가 행동을 형성한다. 물질적 보상(End Zone으로 전달되는 사탕), 내재적 흥미(Ziploc 봉지 열기 같은 더 어려운 작업), 사회적 비교(점수 리더보드)다. 모든 에피소드는 타임스텝마다 작업 레이블과 0에서 3까지의 품질 점수로 수작업 주석이 달린 뒤, ACT 정책의 공동 학습이나 사전 학습에 사용된다.

핵심 통찰

선호하는 물질적 보상은 노력을 이동시킨다. 사용자들은 난이도가 거의 같은 두 빈 피킹 작업인 hi-chew와 tootsie-roll 중 hi-chew에 2× 많은 타임스텝을 썼다(설문에 응한 16명 중 81%가 Hi-Chew를 선호했다).
보상이 같더라도 내재적 흥미는 중요하다. 사용자들은 hi-chew-ziploc에 hi-chew-bin보다 4.18× 많은 타임스텝을 썼고, Hershey Kiss를 약간 더 선호했음에도 jelly-bean에 hershey-kiss보다 1.5× 많은 타임스텝을 썼다.
Mann-Whitney U 검정에서 리더보드 방문자는 유의하게 더 많은 시연(p<0.001)을, 더 높은 평균 품질(p<0.05)로 제공했다.
군중 데이터를 전문가 데이터와 단순히 섞으면 해가 될 수 있는 반면, 이를 사전 학습에 쓰고 전문가 데이터로 미세 조정하면 도움이 되는 경우가 더 많다.
튜토리얼 품질은 이후 작업 품질을 대략적으로 예측하며, 시연자에 대한 1차 필터로 활용될 수 있다.

주요 결과

2주간의 배치(수집일 11일) 동안: 고유 사용자 231명과 상호작용 에피소드 817개(BinScene 129개, Bin+DispenserScene 381개, Bin+ZiplocScene 307개).
상호작용 시간 분포: 사전 설정 작업 54.2%, 튜토리얼 9.6%, 자유 플레이 36.1%.
빈 피킹 성공률, Fine-tune 대 Expert-only ACT(각 40회 시도): hi-chew 42.5% 대 37.5%, hershey-kiss 35% 대 20%, hi-chew-bin 40% 대 20%, tootsie-roll 40% 대 42.5%.
장기 작업(모든 정책의 완전 성공률 0%, 100점 만점의 정규화된 수익으로 채점): hi-chew-ziploc에서 Fine-tune 22.1 대 Expert 5.4, jelly-bean에서 19.7 대 48.9로, 여기서는 군중 데이터가 해가 되었다.
새 작업 tool-ziploc(전문가 시연 50개): 군중의 hi-chew-ziploc 데이터로 사전 학습하자 모서리 잡기, 탭 집기, 밀어서 열기의 단계별 성공률이 85% / 70% / 60%에서 95% / 85% / 80%로 높아졌다.

한계

크라우드소싱은 데이터 품질과 이질성 문제를 가져온다. 단순 공동 학습은 여러 작업에서 전문가 데이터만 사용한 학습보다 성능이 낮았다(예: hi-chew 27.5% 대 37.5%).
군중 데이터에는 사탕 여러 개를 한 번에 집는 것처럼 의미는 있지만 최적이 아닌 행동이 포함되어 있으며, 학습된 정책이 이를 재현한다.
세 가지 인센티브 유형만 연구되었다. 저자들은 물리적 보상이 금전적 보상과 어떻게 다른지 같은 미해결 질문을 언급한다.
품질 레이블은 수작업으로 주석이 달렸으며, 장기 작업은 모든 정책에서 완전 성공률 0%에 그쳤다.
정책은 수집 중 조명이 변했던 카페가 아니라 조명이 일정한 다른 장소에서 평가되었다.

분야에 미친 영향

이 논문은 ICRA 2025 IEEE ICRA Best Conference Paper Award 최종 후보였으며 인용 횟수는 11회이다. 논문은 200명이 넘는 사용자로부터 얻고 세밀한 품질 주석을 수작업으로 단 크라우드소싱 데이터셋을 향후 연구를 위한 자원으로 제시한다. 논문과 프로젝트 페이지 어디에도 코드나 데이터셋 다운로드 링크는 없다.

초록

최근 몇 년간 대규모 인간 시연으로부터의 모방 학습은 로봇 정책을 학습시키는 유망한 패러다임으로 부상했다. 그러나 대량의 인간 시연을 수집하는 부담은 수집 시간과 숙련된 조작자를 확보해야 한다는 측면에서 상당하다. 우리는 크라우드소싱 원리와 인센티브 설계를 활용하여 작업 부담을 분산하는 새로운 데이터 수집 패러다임인 RoboCrowd를 소개한다. RoboCrowd는 확장 가능한 데이터 수집을 가능하게 하고 로봇 정책의 보다 효율적인 학습을 돕는다. 우리는 공공 환경에서 대면 시연을 크라우드소싱하기 위한 설계 공간을 탐색하기 위해, 퍼피티어링(puppeteering)을 통한 데이터 수집을 지원하는 양팔 플랫폼인 ALOHA(Zhao et al. 2023) 위에 RoboCrowd를 구축한다. 우리는 시스템과 상호작용하려는 사용자의 다양한 동기 원천에 호소하기 위해 세 가지 범주의 인센티브 메커니즘, 즉 물질적 보상, 내재적 흥미, 사회적 비교를 제안한다. 우리는 이러한 인센티브를 물리적 보상, 흥미롭거나 도전적인 매니퓰레이션, 그리고 리더보드 같은 게임화 요소를 포함하는 작업을 통해 구현한다. 우리는 플랫폼을 대학 카페에 설치하여 2주간의 대규모 현장 실험을 수행한다. 우리는 시스템에 대한 상당한 참여를 관찰한다. 200명이 넘는 사람이 자발적으로 참여하여 총 800개가 넘는 상호작용 에피소드를 제공했다. 우리의 결과는 제안한 인센티브가 사용자 데이터의 양과 질을 형성하는 메커니즘임을 입증한다. 나아가 우리는 크라우드소싱된 데이터가 전문가 시연으로 미세 조정되는 정책의 유용한 사전 학습 데이터가 될 수 있음을 보여 준다. 이 데이터가 없을 때와 비교하여 성능을 최대 20%까지 높인다. 이러한 결과는 크라우드소싱과 인센티브 설계 원칙을 신중하게 구현함으로써 RoboCrowd가 로봇 데이터 수집의 부담을 줄일 잠재력이 있음을 시사한다.

링크

arXiv 2411.01915: https://arxiv.org/abs/2411.01915
DOI 10.1109/ICRA55743.2025.11127402: https://doi.org/10.1109/ICRA55743.2025.11127402
PDF: https://arxiv.org/pdf/2411.01915v1
프로젝트 페이지: https://robocrowd.github.io/