Predicting Object Interactions with Behavior Primitives: An Application in Stowing Tasks

저자: Haonan Chen, Yilong Niu, Kaiwen Hong, Shuijing Liu, Yixuan Wang, Yunzhu Li, Katherine Driggs-Campbell · CoRL 2023

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

입자 기반 GNN이 행동 프리미티브의 핵심 자세에서 물체의 움직임을 예측하고, 한 번의 시연에서 얻은 3-4개 키프레임에 맞춰 프리미티브 파라미터를 탐색함으로써 팔이 어수선한 선반에 물체를 적재한다.

중요한 이유

네트워크는 각 프리미티브의 핵심 자세에서만 질의되며, 저자들은 이것이 순전파 횟수와 긴 지평에 걸친 누적 예측 오차를 줄인다고 언급한다. 시뮬레이션의 상자 모양 물체로만 학습한 시스템이 실제 Kinova Gen3 팔로 제로샷 전이되었고, 병, 보풀 제거 롤러, 무겁거나 사다리꼴 모양인 물건 같은 분포 밖 물체도 처리했다.

문제

어수선한 선반에 물체를 적재하려면 먼저 이미 있는 물체들을 밀고 미끄러뜨려 공간을 만들어야 하며, 이는 모델링하기 어려운 다중 물체 접촉과 마찰을 긴 지평에 걸쳐 수반한다. 미리 프로그래밍된 시스템은 새로운 선반 배치에 적응하지 못하고, 범주 수준 조작 방법은 비용이 큰 데이터 수집과 사람의 레이블링이 필요하며, 모델 프리 강화 학습은 실제 로봇에서 장기 작업을 처음부터 배우기에는 학습 시간이 너무 많이 든다.

제안 방법

각 물체는 균일하게 분포된 입자로 모델링되며, 시뮬레이션에서 학습한 그래프 신경망이 행동 프리미티브(sweep, push, transport) 이후 각 물체의 강체 변환을 예측한다; 그래프에는 그리퍼-물체 에지, 정적인 선반 및 테이블 입자로의 에지가 포함되고, 예측된 그리퍼 위치에 대한 보조 손실이 있다. 실행 시에는 random shooting이 각 프리미티브의 파라미터를 샘플링하고, 네트워크가 결과를 예측하며, 예측된 물체 위치가 시연 키프레임에 가장 가까운 파라미터를 작업 공간 제어기(Operational Space Controller)로 실행한다.

핵심 통찰

로봇 행동을 계획된 움직임을 가진 그리퍼 입자로 표현하고, 동적 물체와 정적인 선반 및 테이블 입자 사이에 에지를 추가하면, 더 어려운 sweep 및 transport 프리미티브에서 RoboCraft 방식 GNN보다 예측이 개선된다.
모든 제어 스텝이 아니라 프리미티브의 핵심 자세에서만 물체 상태를 예측하면, 장기 작업에서 순전파 횟수와 누적 오차가 줄어든다.
학습된 동역학 모델과 탐색의 결합은 시뮬레이션의 같은 장기 적재 작업에서 모델 프리 RL(SAC, PPO)과 프리미티브로 파라미터화한 행동 공간을 쓰는 PPO를 능가했다.
Random Shooting, Cross-Entropy Method, Gradient Descent는 프리미티브 파라미터에 대한 최적화기로서 비슷한 성능을 보였다.
2개 기술 세트(push와 transport)는 3개 기술 세트와 같은 95%의 실제 환경 성공률에 도달했으며, 저자들은 이를 모델이 쥔 물체와 선반 위 물체들 사이의 상호작용을 포착하기 때문으로 본다.

주요 결과

실제 환경, 각 10회 시행의 여섯 가지 설정: 3개 기술로 95%, 2개 기술로 95% 성공, 동역학 예측이 없는 수작업 조정 휴리스틱은 18%.
같은 파이프라인에서 학습된 동역학으로 RoboCraft를 사용한 경우: Table 3은 평균 48%를 보고하지만, 같은 표의 설정별 점수 여섯 개(10회 중 4, 7, 4, 6, 7, 5)를 더하면 33/60, 즉 55%이다.
시뮬레이션 제어 오차(MSE): 이 방법 0.905 mm, 파라미터화된 PPO 22.925 mm, 휴리스틱 34.861 mm, PPO 87.479 mm, SAC 265.411 mm.
Transport 프리미티브 예측 오차: MSE 0.666 mm, EMD 31.232 mm, Chamfer 거리 38.068 mm이며, RoboCraft는 1.091, 42.162, 55.615 mm; 더 단순한 push 프리미티브에서는 RoboCraft의 MSE가 더 낮지만(0.216 대 0.292 mm), 표준 편차 하나 이내이다.
변형 가능한 물체(부록): 3개 기술로 6/10, 2개 기술로 4/10, RoboCraft 2/10, 휴리스틱 0/10.
학습 데이터: 프리미티브당 무작위 파라미터 에피소드 300개; push와 sweep의 예측 정확도는 약 50개 샘플에서, transport는 약 140개에서 정체된다.

한계

시연에서 순서가 정해진 키프레임을 사람이 수작업으로 레이블링하는 데 의존하며, 저자들은 이것이 더 크고 복잡한 시나리오로의 확장성을 제한할 수 있다고 말한다.
학습과 추론에서 물체는 상자 모양 점군으로 표현되며, 저자들은 상호작용과 접촉이 더 복잡한 실제 물체 기하를 반영하지 못할 수 있다고 말한다.
실제 환경 인지는 모든 물체를 직육면체로 취급하며, 알려진 물체 데이터베이스를 위해 미리 촬영한 측면 및 상면 이미지와의 SIFT 매칭으로 물체를 식별한다.
변형 가능한 물체에서는 성공률이 떨어진다(최고 6/10).
프리미티브 라이브러리(sweep, push, transport)는 수작업으로 설계된다; 저자들은 프리미티브 설계와 기술 조합을 열린 연구 방향으로 꼽는다.

분야에 미친 영향

CoRL 2023 Best Paper / Best Student Paper Award 최종 후보이며 인용 수는 32회이다. 논문은 robosuite와 MuJoCo로 구축한 장기 조작용 적재 벤치마크를 기여하지만, 코드나 데이터 링크는 제공하지 않는다.

초록

어수선한 선반이나 통에 물체를 놓는 작업인 적재(stowing)는 창고 및 제조 작업에서 흔한 작업이다. 그러나 복잡한 다중 물체 상호작용과 작업의 장기적 특성 때문에 적재는 자동화하기 어려워, 이 작업은 여전히 주로 사람 작업자가 수행한다. 이전 연구는 일반적으로 다양한 물체 범주에 걸친 광범위한 데이터 수집과 의미적 사전 정보에 대한 비용이 큰 사람의 레이블링을 수반한다. 본 논문은 물체 상호작용의 예측 모델과 행동 프리미티브를 사용한 단일 시연으로부터 일반화 가능한 로봇 적재 정책을 학습하는 방법을 제시한다. 우리는 그래프 신경망을 활용하여 행동 프리미티브의 파라미터 공간 내에서 물체 상호작용을 예측하는 새로운 프레임워크를 제안한다. 나아가 프리미티브 증강 궤적 최적화를 사용하여, 미리 정의된 이종 행동 프리미티브 라이브러리의 파라미터를 탐색하고 제어 행동을 구체화한다. 우리의 프레임워크는 단일 시연에서 얻은 소수의 키프레임(3-4개)만으로 로봇이 장기 적재 작업을 능숙하게 수행하게 한다. 시뮬레이션에서만 학습했음에도 우리의 프레임워크는 뛰어난 일반화 능력을 보여준다. 다양한 선반 폭, 변하는 물체 수, 크기와 형상 같은 다양한 속성을 가진 물체를 포함한 폭넓은 실제 조건에 효율적으로 적응한다.

링크

arXiv 2309.16873: https://arxiv.org/abs/2309.16873
DOI 10.48550/arXiv.2309.16873: https://doi.org/10.48550/arXiv.2309.16873
PDF: https://arxiv.org/pdf/2309.16873v1