Anytime, Anywhere: Human Arm Pose from Smartwatch Data for Ubiquitous Robot Control and Teleoperation

저자: Fabian C Weigend, Shubham Sonawani, Michael Drolet, Heni Ben Amor · IROS 2023

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

6D 회전 출력을 가진 LSTM, 2단계 보정, Monte Carlo dropout이 스마트워치 하나를 이전 연구보다 오차가 ~40% 낮은 팔 추적기이자 음성 기반 로봇 인터페이스로 바꾼다.

중요한 이유

소비자용 스마트워치는 모션 캡처 공간보다 훨씬 저렴하고 시야 확보가 필요 없으므로, 사용자는 어디에 서 있든 로봇을 멈추고, 이끌고, 가르칠 수 있다. 연구 참가자들은 작업 도중 로봇을 멈추고, 손 동작으로 큐브를 이끌고, 음성 명령으로 되돌려 보냈으며, 2분 동안 기록한 6번의 시연으로 새로운 놓기 정책을 학습시켰다. 자세 분포는 또한 로봇 제어기가 행동하기 전에 확인할 수 있는 불확실성 신호를 제공한다.

문제

원격 조작과 시연 기반 프로그래밍에는 사람의 팔 동작이 필요하지만, 모션 캡처는 비싸고 고정되어 있으며, Kinect 방식 카메라는 시야 제약을 겪고, IMU 슈트는 팔마다 두 개 이상의 센서가 필요하다. 단일 스마트워치 IMU로부터의 이전 팔 자세 추정은 정확도가 낮았다. 또한 사람 팔의 기구학은 여유 자유도를 가지므로, 시계의 한 측정값이 여러 팔 자세에 해당할 수 있다.

제안 방법

Wear OS 앱이 Samsung Galaxy Watch 5에서 방향, 가속도, 중력, 자이로스코프, 기압 측정값을 스트리밍하며, 학습을 위해 OptiTrack 모션 캡처와 짝지어진다. 2단계 보정(상대 기압을 위해 시계를 가슴 높이에 두기, 몸의 진행 방향을 위해 팔을 앞으로 뻗기)으로 입력을 정규화한다. LSTM이 연속 6D 표현으로 위팔과 아래팔의 회전을 예측하고, 위치는 알려진 팔 길이로부터 구하며, Monte Carlo dropout이 자세 분포를 제공한다. 시계 마이크를 이용한 음성 인식이 음성 명령을 더한다.

핵심 통찰

가슴 높이 보정을 기준으로 한 기압은 원시 기압보다 손목 높이와 훨씬 더 잘 상관한다(Kendall's Tau −0.308 대 −0.009)
연속적인 6D 회전 표현으로 팔 회전을 예측한 뒤 고정된 팔 길이를 적용하는 방식이 직접적인 데카르트, 극좌표, 쿼터니언 목표보다 나았다
팔 동작은 시계열이므로, 짧은 시퀀스에 대한 LSTM이 순방향 신경망보다 성능이 좋았다
Monte Carlo dropout은 머리의 어느 쪽에나 있을 수 있는 손처럼 다봉 자세 분포를 하나의 추정치에 숨기지 않고 드러낸다
손목 오차는 팔꿈치 오차에 전완 회전이 더해지므로, 팔꿈치 추정이 손목 추정보다 정확하다

주요 결과

최고 모델(6D 회전 목표를 사용하는 LSTM): 손목 중앙값 오차 2.33 cm, 팔꿈치 1.61 cm로, 이전의 단일 IMU 연구 두 편이 보고한 결과보다 중앙값 오차가 4 cm 넘게 낮다
RMSE는 손목 3.71 ± 2.49 cm, 팔꿈치 2.99 ± 2.19 cm로, 6.9 ± 2.7 cm와 5.2 ± 2.6 cm를 보고한 두 IMU 방법보다 약 40% 낮다
손목과 팔꿈치를 합친 평균 오차 2.56 cm(초록)
학습 데이터: 참가자 6명으로부터 ~50 Hz로 얻은 381,535개의 스마트워치 관측값으로, ~120 Hz의 12대 카메라 OptiTrack 시스템과 정합했다
150회의 Monte Carlo dropout 예측이 GeForce RTX 2080 Ti GPU를 갖춘 Intel Xeon W-2125 CPU에서 ~40 Hz로 실행되었다
개입 과제(사용자 3명 × 10회 실행): 모든 실행이 성공했으며, '정지'부터 놓기까지 평균 22.8 ± 7.3 s, 큐브는 목표에서 2.09 ± 0.97 cm 떨어진 곳에 놓였다

한계

엉덩이와 가슴의 움직임을 허용하는 두 IMU 방법과 달리, 2단계 보정은 사용자가 몸의 방향이나 위치를 바꿀 때마다 반복해야 한다
빠른 손목 회전이나 인체공학적이지 않은 팔 동작은 정확도를 떨어뜨린다. 한 사례에서는 쌍봉 예측 때문에 평균값, 그리고 아바타의 팔이 머리를 관통했다
사용자가 앞을 향하는 방향이 일정하고 알려져 있어야 하며, 어깨 위치는 고정되어 있다고 가정한다
학습 데이터는 가슴과 엉덩이를 움직이지 않은 채 왼쪽 손목에 시계를 찬 참가자 6명에게서 얻었다
안전 비용으로 모드를 선택하는 것 같은 다봉 예측의 처리 방법은 제안되었지만 향후 연구로 남겨 두었다

분야에 미친 영향

IROS 2023 Best RoboCup Paper Award 최종 후보에 올랐으며, 인용 수는 11회다. 논문은 코드, 앱 또는 데이터셋 공개를 명시하지 않는다.

초록

이 연구는 단일 스마트워치로부터 사람의 팔 자세를 추정하기 위한 최적화된 기계 학습 접근법을 고안한다. 우리 접근법은 가능한 손목 및 팔꿈치 위치의 분포를 산출하며, 이를 통해 불확실성을 측정하고 가능한 여러 팔 자세 해, 즉 다봉 자세 분포를 검출할 수 있다. 추정된 팔 자세를 음성 인식과 결합하여, 우리는 스마트워치를 어디서나 쓸 수 있고 저렴하며 다용도인 로봇 제어 인터페이스로 바꾼다. 두 가지 사용 사례에서 이 직관적인 제어 인터페이스로 사용자가 로봇 행동에 신속하게 개입하거나, 목표를 일시적으로 조정하거나, 모방을 통해 완전히 새로운 제어 정책을 학습시킬 수 있음을 보인다. 광범위한 실험은 이 접근법이 현재 최신 기법 대비 예측 오차를 40% 줄이고, 손목과 팔꿈치 위치에 대해 평균 오차 2.56 cm를 달성함을 보여 준다.

링크

arXiv 2306.13192: https://arxiv.org/abs/2306.13192
DOI 10.1109/IROS55552.2023.10341624: https://doi.org/10.1109/IROS55552.2023.10341624
PDF: https://arxiv.org/pdf/2306.13192v1