Evaluating Real-World Robot Manipulation Policies in Simulation

저자: Xuanlin Li, Kyle Hsu, Jiayuan Gu, Karl Pertsch, Oier Mees, Homer Rich Walke, Chuyuan Fu, Ishikaa Lunawat, Isabel Sieh, Sean Kirmani, Sergey Levine, Jiajun Wu, Chelsea Finn, Hao Su, Quan Vuong, Ted Xiao · CoRL 2024

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

SIMPLER: Google Robot 및 WidowX/BridgeData V2 구성의 오픈 소스 시뮬레이션 버전으로, 정책 순위가 실제 결과와 일치한다(Pick Coke Can에서 MMRV 0.031, r 0.976).

중요한 이유

모방 학습 정책을 반복 개발하는 팀은 실제 성능과 일치하는 저렴하고 반복 가능한 신호를 얻으며, 논문은 검증 행동 MSE가 이에 대한 부실한 대리 지표임을 보인다(표 I). 환경은 pip로 설치되고 표준 Gym 인터페이스를 사용하며, RTX 4090 한 대에서 초당 3.5k 시뮬레이션 스텝을 렌더링하는데, 저자들은 이를 실제 평가 대비 7× 속도 향상으로 제시한다.

문제

범용 조작 정책은 많은 과제와 장면에 걸쳐 시험되어야 하며, 그만큼 폭넓은 실제 로봇 평가는 비용이 크고 느리며 연구실 간에 재현하기 어렵다. 시뮬레이션을 위한 완전한 디지털 트윈을 구축하는 것도 수작업으로 만든 형상, 재질, 조명, 물리적 특성이 필요하므로 비용이 크다.

제안 방법

저자들은 시뮬레이션 성공률과 실제 성공률이 정책 순위를 같은 방식으로 매길 만큼만 사실적인 시뮬레이션을 구축한다. 시뮬레이션 제어기의 강성과 감쇠를 식별하여(기존 시연 데이터에 대한 엔드이펙터 추종 오차에 담금질 기법 적용) 제어 격차를 줄이고, 시뮬레이션 전경 물체 뒤에 실제 배경을 '그린 스크린' 방식으로 합성하고 물체와 로봇 팔 텍스처를 실제 이미지에 맞추어 시각적 격차를 줄인다. 또한 잘못 순위가 매겨진 정책들 사이의 실제 성능 차이로 각 순위 오류에 가중치를 주는 Mean Maximum Rank Violation(MMRV) 지표를 제안한다.

핵심 통찰

정확한 디지털 트윈은 필요 없다. 시뮬레이션은 정책들의 상대적 순위만 보존하면 된다.
Pearson r만으로는 오해를 낳을 수 있다. 선형 적합에 보상을 주고 정책들의 성능이 비슷할 때 작은 노이즈에도 크게 흔들리기 때문이다. MMRV는 각 순위 위반에 실제 성능 차이만큼 가중치를 준다.
시각적 보정은 함께 적용할 때만 도움이 된다. 그린 스크린 배경에 텍스처를 맞춘 서랍과 로봇을 더했을 때 서랍 과제 MMRV가 가장 낮았으며(0.050), 일부만 조합한 경우는 0.087 기준선보다 나을 것이 없었다.
제어기 시스템 식별이 중요하다. 강성과 감쇠를 교란하자 Pick Coke Can MMRV가 0.031에서 0.070–0.100으로 올라갔다.
시뮬레이션은 이전에 시험되지 않은 실제 민감도를 예측할 수 있다. 예를 들어 Octo-Base의 로봇 팔 텍스처에 대한 민감도가 그러하며, 이후 팔을 포장지로 감싼 실제 실험이 이를 확인했다.

주요 결과

Visual Matching을 적용한 Google Robot: Pick Coke Can에서 MMRV 0.031 / r 0.976, Move Near에서 0.111 / 0.855, Open Drawer and Place Apple에서 0.000 / 0.969. Open/Close Drawer에 대해 그림 6은 0.055 / 0.915를, 표 I의 Drawer 열은 0.027 / 0.942를 보고하며, 논문은 이 차이를 설명하지 않는다.
Google Robot 과제 평균(표 I): Visual Matching MMRV 0.056 및 r 0.924, Variant Aggregation 0.143 및 0.778, 검증 행동 MSE 0.375 및 0.308.
BridgeData V2 과제를 사용한 WidowX: 평균 MMRV 0.014 및 r 0.890. 한 과제를 제외한 모든 과제에서 모든 정책의 순위가 올바르게 매겨졌다.
두 RT-1 체크포인트에 대한 분포 변화: 데이터 증강 없이 MMRV 0.000 / r 0.831, 증강 시 0.016 / 0.970. 새로운 단색 테이블 색상은 실제 성공률을 4%, 시뮬레이션 성공률을 2% 낮췄고, 무늬 텍스처는 실제 25%, 시뮬레이션 24% 낮췄다.
Pick Coke Can과 Move Near에서 Variant Aggregation으로 Isaac Sim에 재현한 결과: MMRV 0.058 / r 0.919, SAPIEN에서는 0.082 / 0.923.
Octo-Base는 조정되지 않은 팔 텍스처로 시뮬레이션에서 0%, 조정된 텍스처로 29.3%를 기록했다. 물체 질량, 그리퍼 마찰 또는 캐비닛 관절 마찰을 바꾸면 성공률이 최대 15%까지 변했지만 상관관계는 높게 유지되었다.

한계

강체 물체 조작만 다룬다. 변형 가능한 물체는 소프트 바디 시뮬레이션을 이용한 향후 과제로 남는다.
그린 스크린 방식은 고정 카메라에 한정되며 물체 그림자와 기타 시각적 세부 사항을 재현하지 못한다.
환경을 만들려면 여전히 에셋을 선별하고 장면을 구성하는 수작업이 필요하며, 캐비닛 같은 관절 물체에 가장 많은 노력이 든다.
물리적 특성은 단순화되어 있으며(GPT-4나 웹 검색으로 찾은 균일 밀도, 일반적인 마찰 값), 절대 성공률이 실제 세계와 일치할 것으로 기대되지 않고 순위만 일치할 것으로 기대된다.
서랍 과제에서 한 정책의 실제 평가는 로봇 손상 위험 때문에 2회 시행 후 중단되었으므로, 해당 MMRV는 상한 추정치이다.

분야에 미친 영향

인용 수 426회. 저자들은 모든 SIMPLER 환경, RT-1, RT-1-X, Octo의 정책 추론 코드, 새 환경 구축 가이드를 simpler-env.github.io 에 공개했으며, 명령줄 텍스처 매칭 스크립트(github.com/Jiayuan-Gu/GeTex)도 공개했다.

초록

로보틱스 분야는 범용 로봇 조작 정책을 향해 상당한 진전을 이루었다. 그러나 이러한 정책의 실제 환경 평가는 확장성이 없고 재현성 문제에 직면해 있으며, 정책이 수행할 수 있는 과제의 범위가 넓어질수록 이 문제는 악화될 가능성이 크다. 우리는 실제 환경과 시뮬레이션 환경 사이의 제어 및 시각적 차이를 신뢰할 수 있는 시뮬레이션 평가의 핵심 과제로 파악하고, 실제 환경의 완전 충실도 디지털 트윈을 만들 필요 없이 이러한 격차를 완화하는 접근법을 제안한다. 그런 다음 이 접근법을 사용하여 일반적인 실제 로봇 구성에서 조작 정책을 평가하기 위한 시뮬레이션 환경 모음인 SIMPLER를 만든다. 조작 정책에 대한 시뮬레이션-실제 짝 평가를 통해, SIMPLER 환경에서의 정책 성능과 실제 세계에서의 정책 성능 사이에 강한 상관관계가 있음을 입증한다. 또한 SIMPLER 평가가 다양한 분포 변화에 대한 민감도 같은 실제 정책 행동 양상을 정확히 반영함을 확인한다. 범용 조작 정책과 시뮬레이션 평가 프레임워크에 관한 연구를 촉진하기 위해, 모든 SIMPLER 환경과 새 환경을 만드는 워크플로를 https://simpler-env.github.io 에 오픈 소스로 공개한다.

링크

arXiv 2405.05941: https://arxiv.org/abs/2405.05941
DOI https://doi.org/10.48550/arxiv.2405.05941: https://doi.org/https://doi.org/10.48550/arxiv.2405.05941
PDF: https://arxiv.org/pdf/2405.05941v1
코드: https://github.com/simpler-env/SimplerEnv
프로젝트 페이지: https://simpler-env.github.io/