Anytime, Anywhere: Human Arm Pose from Smartwatch Data for Ubiquitous Robot Control and Teleoperation

作者: Fabian C Weigend, Shubham Sonawani, Michael Drolet, Heni Ben Amor · IROS 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個輸出 6D 旋轉的 LSTM，搭配兩步驟校正與 Monte Carlo dropout，把一支智慧手錶變成手臂追蹤器與語音驅動的機器人介面，誤差比先前研究低~40%。

為何重要

消費型智慧手錶的成本遠低於動作捕捉室，也不需要視線，因此使用者不論站在哪裡都能停止、引導或教導機器人。研究中的使用者在任務進行中讓機器人停下，以手部動作引導一個方塊，再以語音指令把它送回；在兩分鐘內錄下的六次示範就訓練出一個新的放置策略。姿態分布也提供一個不確定性訊號，讓機器人控制器在動作前先行檢查。

問題

遠端操作與示範編程需要人類手臂的運動資料，但動作捕捉昂貴且固定在原地，Kinect 類型的相機受視線限制，IMU 動作捕捉服每條手臂需要兩個以上的感測器。先前以單一智慧手錶 IMU 估計手臂姿態的準確度偏低。由於人類手臂運動學具有冗餘，同一筆手錶讀數也可能對應多種手臂姿勢。

提出的方法

一個 Wear OS 應用程式從 Samsung Galaxy Watch 5 串流方位、加速度、重力、陀螺儀與氣壓讀數，訓練時搭配 OptiTrack 動作捕捉。兩步驟校正（手錶置於胸部高度以取得相對氣壓，手臂向前伸直以決定身體朝向）將輸入正規化。一個 LSTM 以連續的 6D 表示預測上臂與前臂的旋轉，位置則由已知的手臂長度推得，Monte Carlo dropout 給出姿態分布；手錶麥克風上的語音辨識則提供語音指令。

關鍵見解

相對於胸部高度校正值的氣壓，與手腕高度的相關性遠高於原始氣壓（Kendall's Tau 為 −0.308，對比 −0.009）
以連續的 6D 旋轉表示預測手臂旋轉，再套用固定的手臂長度，勝過直接以笛卡兒座標、極座標與四元數為目標
由於手臂運動是時間序列，以短序列為輸入的 LSTM 勝過前饋網路
Monte Carlo dropout 能呈現多模態姿態分布，例如手可能在頭部的任一側，而不是把它們藏在單一估計值裡
手肘的估計比手腕更準確，因為手腕誤差包含手肘誤差再加上前臂旋轉

主要結果

最佳模型（以 6D 旋轉為目標的 LSTM）：手腕中位誤差 2.33 cm，手肘 1.61 cm，比兩項先前單一 IMU 研究所報告的中位誤差低 4 cm 以上
手腕 RMSE 為 3.71 ± 2.49 cm，手肘為 2.99 ± 2.19 cm，比報告 6.9 ± 2.7 cm 與 5.2 ± 2.6 cm 的一種雙 IMU 方法低約 40%
手腕與手肘的平均綜合誤差為 2.56 cm（摘要）
訓練資料：來自 6 名參與者、~50 Hz 的 381,535 筆智慧手錶觀測，與~120 Hz 的 12 台相機 OptiTrack 系統對應
在搭載 GeForce RTX 2080 Ti GPU 的 Intel Xeon W-2125 CPU 上，150 次 Monte Carlo dropout 預測以~40 Hz 執行
介入任務（3 位使用者 × 10 次執行）：所有執行皆成功，從「stop」到放開平均 22.8 ± 7.3 s，方塊放置位置距目標 2.09 ± 0.97 cm

限制

每當使用者改變身體朝向或位置時都必須重做兩步驟校正，而一種雙 IMU 方法允許髖部與胸部移動
快速的手腕旋轉或不符人體工學的手臂動作會降低準確度；在一個案例中，雙峰預測讓平均值以及虛擬化身的手臂穿過了頭部
使用者面向前方的方向必須固定且已知，肩膀位置則假設為固定
訓練資料來自 6 名參與者，他們把手錶戴在左手腕上，並保持胸部與髖部不動
多模態預測的處理（例如依安全成本選擇一個模態）已有構想，但留待未來研究

對領域的影響

入圍 IROS 2023 最佳 RoboCup 論文獎決選，被引用 11 次。論文未說明是否釋出程式碼、應用程式或資料集。

摘要

本研究設計一種經最佳化的機器學習方法，用單一智慧手錶估計人類手臂姿態。我們的方法產生可能的手腕與手肘位置分布，可用來衡量不確定性，並偵測多個可能的手臂姿勢解，也就是多模態姿態分布。結合估計的手臂姿勢與語音辨識，我們把智慧手錶變成無所不在、低成本且用途多元的機器人控制介面。我們在兩個使用情境中展示，這種直覺的控制介面能讓使用者迅速介入機器人行為、暫時調整其目標，或透過模仿訓練全新的控制策略。大量實驗顯示，此方法比目前最先進方法的預測誤差降低 40%，手腕與手肘位置的平均誤差為 2.56 cm。

連結

arXiv 2306.13192: https://arxiv.org/abs/2306.13192
DOI 10.1109/IROS55552.2023.10341624: https://doi.org/10.1109/IROS55552.2023.10341624
PDF: https://arxiv.org/pdf/2306.13192v1