GenAug: Retargeting behaviors to unseen situations via Generative Augmentation

저자: Zoey Chen, Sho Kiami, Abhishek Gupta, Vikash Kumar · RSS 2023

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

GenAug는 깊이 안내 텍스트-이미지 확산을 사용해 소수의 실제 시연에서 물체, 방해물, 배경을 다시 그려, CLIPort 집어 놓기 정책이 처음 보는 장면에서도 동작하게 한다.

중요한 이유

하나의 단순한 환경에서 시연 10개로 학습한 정책을 로봇 데이터를 더 수집하지 않고 다른 실제 장면에서 사용할 수 있다. 물체 마스크는 시연에만 필요하고 테스트 시에는 필요 없다.

문제

로봇 학습에는 크고 다양한 데이터셋이 필요하지만 실제 수집은 비용이 크고, 많은 로봇 데이터셋은 몇 시간 분량의 데이터를 가진 단일 환경에서 나온다. 색상 지터, 블러, 크롭 같은 표준 증강은 저수준의 외관 변화는 다루지만 새로운 방해물, 배경, 물체 외관 같은 의미적 변화는 다루지 못한다.

제안 방법

GenAug는 물체 마스크와 보정된 카메라 자세가 있는 RGBD 시연을 입력으로 받아, 사전 학습된 깊이 안내 텍스트-이미지 확산 모델을 사용해 범주 안에서 물체 텍스처를 바꾸고, Google Scanned Objects와 Free3D의 메시를 먼저 렌더링하여 물체 범주를 바꾸며, 충돌 검사를 거친 방해물을 추가하고, 배경을 다시 그린다. 집을 물체와 목표의 위치가 고정되어 있으므로 원래의 집어 놓기 행동 레이블은 유효하게 유지되며, 각 시연을 100번 증강한 결과로 CLIPort 정책을 학습시킨다.

핵심 통찰

• 집어 놓기 행동은 물체와 목표의 대략적인 위치가 바뀌지 않는 한 큰 시각적 변화에도 유효하므로, 생성된 이미지는 원래의 행동 레이블을 재사용할 수 있다.
• 깊이 안내 생성 전에 물체 메시를 렌더링하면 범주를 넘나드는 교체가 3D 일관성을 유지한다. 단순한 인페인팅은 그럴듯하지 않은 이미지를 자주 만들었다(Appendix A).
• 복사-붙여넣기 증강과 무작위 배경 증강은 새로운 환경에 대한 강건성을 더하지만 처음 보는 물체에서는 GenAug에 미치지 못하며, 저자들은 이를 물리적으로 그럴듯하고 의미적으로 유의미한 장면이 중요하다는 증거로 해석한다.
• 시연당 증강 수가 0에서 10, 50, 100으로 늘어날수록 성공률이 높아진다(Figure 11).

주요 결과

• 실제 환경, 각각 시연 10개가 있는 10개 작업: 처음 보는 환경에서 평균 성공률 85%, 처음 보는 놓을 물체에서 52%, 처음 보는 집을 물체에서 45%(Table I, 조건당 장면 10개).
• GenAug 없이 학습한 CLIPort와의 실제 환경 비교(Table II, 조건당 장면 5개): 처음 보는 환경에서 80% 대 38%, 처음 보는 놓을 물체에서 54% 대 8%, 처음 보는 집을 물체에서 46% 대 10%.
• 초록과 결론은 GenAug 없이 학습한 경우에 비해 새로운 장면과 물체에 대한 일반화가 40% 향상되었다고 보고한다.
• 시뮬레이션, 시연 100개로 처음 보는 환경(Table III): GenAug는 77.6(TransporterNet)과 71.9(CLIPort), 깊이를 사용한 GenAug는 91.2와 73.4를 기록했으며, 증강 없이는 9.8과 14.4였다.
• GenAug가 Table III의 모든 칸에서 최고인 것은 아니다. 예를 들어 TransporterNet과 시연 100개로 처음 보는 환경에서 Random Background는 79.1로 GenAug의 77.6보다 높다.

한계

• GenAug는 행동 레이블을 증강하지 않으며 재질, 마찰, 변형을 고려하지 않는다. 원래 행동이 여전히 유효하고 추가된 물체와 충돌하지 않는다고 가정한다(저자들의 언급).
• 동영상의 프레임 간 시각적 일관성을 보장할 수 없다(저자들의 언급).
• 장면 하나를 증강하는 데 약 30초가 걸려, on-policy RL 같은 방법에는 비현실적일 수 있다(저자들의 언급).
• 물체와 배경의 색이 비슷할 때, 방해물이 매우 밝거나 비슷한 색일 때, 또는 탁자 위에 물체가 너무 많을 때 실패가 발생한다.
• 시연에는 수작업으로 레이블링한 물체 마스크와 보정된 카메라 자세, 그리고 물체 메시 라이브러리가 필요하며, 이 방법은 석션 그리퍼를 사용한 탁상 집어 놓기에서만 테스트되었다.

분야에 미친 영향

RSS 2023 Best System Paper Award 최종 후보였으며 인용 수는 165회이다. 공식 프로젝트 페이지 genaug.github.io는 코드 저장소로 연결된다.

초록

로봇 학습 방법은 작업, 환경, 물체 전반에 걸쳐 폭넓게 일반화할 잠재력을 지니고 있다. 그러나 이러한 방법은 실제 로봇 환경에서 수집하기 비싼 크고 다양한 데이터셋을 필요로 한다. 로봇 학습이 일반화되려면 로봇 자신의 경험을 넘어서는 데이터 원천이나 사전 지식을 활용할 수 있어야 한다. 이 연구에서 우리는 웹에서 수집한 대규모 말뭉치로 사전 학습된 이미지-텍스트 생성 모델이 그러한 데이터 원천이 될 수 있다고 본다. 우리는 이 생성 모델들이 대부분 로봇공학과 무관한 데이터로 학습되었음에도, 폭넓은 일반화를 가능하게 하는 방식으로 로봇 학습 과정에 사전 지식을 부여하는 효과적인 수단이 될 수 있음을 보인다. 특히 사전 학습된 생성 모델이 의미적으로 유의미한 데이터 증강을 위한 효과적인 도구가 될 수 있음을 보인다. 적절한 "의미적" 데이터 증강을 생성하는 데 이러한 사전 학습 모델을 활용하여, 정책의 일반화를 크게 향상시킬 수 있는 시스템 GenAug를 제안한다. GenAug를 탁상 조작 작업에 적용하여, 아주 적은 양의 실제 데이터만으로 새로운 시나리오에 행동을 재지정하는 능력을 보여준다. 실제 환경의 여러 물체 조작 문제에서 이 시스템의 효과를 입증하며, 새로운 장면과 물체에 대한 일반화에서 40% 향상을 보인다.

링크

• arXiv 2302.06671: https://arxiv.org/abs/2302.06671
• DOI 10.48550/arXiv.2302.06671: https://doi.org/10.48550/arXiv.2302.06671
• PDF: https://arxiv.org/pdf/2302.06671v1
• 코드: https://github.com/genaug/genaug
• 프로젝트 페이지: https://genaug.github.io/