Automated Acquisition of Structured, Semantic Models of Manipulation Activities from Human VR Demonstration

저자: Andrei Haidu, Michael Beetz · ICRA 2021

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

사람들이 물리 시뮬레이션된 VR 세계에서 주방 작업을 수행하면, 온라인 모니터가 그 행동을 뻗기, 파지, 운반, 내려놓기 이벤트로 나누어 로봇이 질의할 수 있도록 KnowRob에 저장한다.

중요한 이유

시연은 가상 신체 부위를 포함해 로봇과 공유하는 온톨로지로 이미 분할되고 주석이 달린 상태로 나오므로 수동 레이블링이 필요 없다. 에피소드는 행동 유형, 물체 유형, 부분 관계로 재생하고 질의할 수 있으며, 예를 들어 냉장고 문에 속한 손잡이에 대한 모든 파지를 찾을 수 있다.

문제

조작을 학습하는 로봇은 합리적인 노력으로 제공할 수 있는 것보다 더 많은 경험을 필요로 하는 경우가 많으므로, 각 시연은 더 구조화된 정보를 담아야 한다. 저자들의 이전 AMEvA 시스템은 머리와 손만 추적했고, 사용자가 현실에서는 불가능한 곳에 손을 뻗을 수 있게 했으며, 팔꿈치나 발 같은 다른 신체 부위를 사용할 수 없었고, 거친 행동 표현만 제공했다.

제안 방법

사용자는 NVIDIA PhysX로 시뮬레이션되는 Unreal Engine 4 환경에서 전신 및 시선 추적과 함께 행동한다. 손은 3D PID 컨트롤러로 구동되어 무거운 물체는 손을 뒤로 당기거나 미끄러지며, 파지는 미리 정의된 파지 방식을 사용한 물리 계산으로 이루어진다. 하위 기호 로거는 프레임별 세계 상태와 시선을 MongoDB에 저장하고, 손 접촉 센서 배열과 문법을 갖춘 온라인 모니터는 파지, 접촉, supported-by, 픽앤플레이스 하위 동작을 KnowRob의 OWL 이벤트로 기록한다.

핵심 통찰

• 직접 매핑 대신 PID 컨트롤러로 가상 손을 구동하면 물체의 무게가 중요해지며, 이는 두 손으로 들어 올리기 같은 실제 세계의 전략을 유도한다.
• 손가락, 엄지, 손바닥의 접촉 센서 배열은 실제 파지를 단순한 접촉과 구별한다. 파지에는 적어도 서로 다른 두 세트의 접촉이 필요하다.
• 명확한 시작 또는 끝 특징이 없는 동작 단계(뻗기의 시작, 집어 올리기의 끝, 내려놓기의 시작)는 관심 영역과 캐시된 물체 움직임에 대한 역추적으로 경계를 정할 수 있다.
• supported-by(받쳐짐)는 상대 수직 속도가 거의 0인 접촉으로 감지되므로, 쟁반에 실려 운반되는 물체도 여전히 쟁반에 받쳐진 것으로 간주된다.
• 이벤트 모니터는 물리 엔진의 수면(sleep) 상태를 따라 정지한 물체에 대해서는 꺼지며, 저자들은 이를 통해 시스템이 수천 개의 물체로 실시간 확장될 수 있다고 말한다.

주요 결과

• 논문은 정량적인 정확도나 시간 평가를 보고하지 않는다. 결과는 정성적 시연과 예시 질의이다.
• 한 손 측면 파지로 들어 올린 음식이 담긴 접시는 무게 때문에 손에서 비틀려 빠져나가지만, 두 손 파지로는 성공적으로 들어 올려진다.
• 픽앤플레이스 행동은 온라인으로 뻗기, 고정, 밀기 또는 집어 올리기, 운반, 내려놓기 단계로 분할되며, 이는 Fig. 5 (a)–(j)에 제시되어 있다.
• KnowRob 질의로 시리얼 상자에 대한 밀기 행동, 냉장고 문의 일부인 손잡이에 대한 파지, 하위 행동으로 구성된 픽앤플레이스 행동을 검색하고 재생한다.
• 에피소드별 MongoDB 컬렉션은 에피소드가 끝나면 B-트리로 색인되어 O(log n)의 검색 시간을 제공한다.

한계

• 전신 추적은 단방향이다. 아바타는 물체를 밀 수 있지만 피드백을 받지 않으므로, 사용자가 벽이나 가구를 통과해 걸어가 시뮬레이션을 불안정하게 만들 수 있다(저자들이 밝힘).
• 뻗기의 시작과 집어 올리기의 끝은 뚜렷한 특징이 없어 관심 영역으로 근사한다(저자들이 밝힘).
• 파지 검출기는 물체를 운반하는 것과 서랍 손잡이나 움직이지 않는 가구를 잡는 것 같은 파지 맥락을 구별하지 않는다(저자들이 밝힘).
• 시선은 기록되지만 아직 행동 검출을 개선하는 데 사용되지 않으며, 대규모 공개 데이터셋은 여전히 향후 과제이다(저자들이 밝힘).
• 로봇 실험과 이벤트 검출에 대한 정량적 평가는 보고되지 않았다.

분야에 미친 영향

IEEE ICRA 2021 Best Paper Award on Human-Robot Interaction (HRI)의 최종 후보에 올랐으며 인용 수는 11회이다. 논문은 코드나 데이터의 공개를 명시하지 않으며, openEASE를 통한 대규모 데이터셋 공개를 향후 과제로 꼽는다.

초록

본 논문에서는 사람이 수행하고 로봇이 이해할 수 있는 일상 활동을 가상 환경에서 수집하고 주석을 다는 시스템을 제시한다. 사람의 움직임은 전신 및 눈 추적 기능을 갖춘 상용 가상 현실 장치를 사용하여 시뮬레이션된 세계에 매핑된다. 가상 세계의 모든 상호작용은 물리적으로 시뮬레이션되므로, 움직임과 그 결과를 실제 세계와 밀접하게 연관 지을 수 있다. 활동이 수행되는 동안 하위 기호(subsymbolic) 데이터 로거가 환경과 사람의 시선을 프레임 단위로 기록하여, 오프라인 장면 재현과 재생을 가능하게 한다. 물리 엔진과 결합된 온라인 모니터(기호 데이터 로거)는 (다양한 문법을 사용하여) 시뮬레이션된 세계의 이벤트, 행동, 그리고 그 결과를 파싱하고 기록한다.

링크

• arXiv 2011.13689: https://arxiv.org/abs/2011.13689
• DOI 10.1109/ICRA48506.2021.9562016: https://doi.org/10.1109/ICRA48506.2021.9562016
• PDF: https://arxiv.org/pdf/2011.13689v1