Anytime, Anywhere: Human Arm Pose from Smartwatch Data for Ubiquitous Robot Control and Teleoperation

作者: Fabian C Weigend, Shubham Sonawani, Michael Drolet, Heni Ben Amor · IROS 2023

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个输出 6D 旋转的 LSTM，结合两步标定和 Monte Carlo dropout，把一块智能手表变成手臂追踪器和语音驱动的机器人接口，误差比以往工作低~40%。

为何重要

消费级智能手表的成本远低于动作捕捉室，也不需要视线，因此用户无论站在哪里都能停止、引导或示教机器人。研究中的用户在任务进行中停下了机器人，用手部动作引导一个方块，并用语音命令将其送回；在两分钟内录制的六次示范训练出了一个新的放置策略。姿态分布还提供了一个不确定性信号，机器人控制器可以在行动前进行检查。

问题

遥操作和示范编程需要人体手臂运动数据，但动作捕捉昂贵且位置固定，Kinect 类相机受视线限制，IMU 动捕服每条手臂需要两个或更多传感器。以往基于单块智能手表 IMU 的手臂姿态估计精度较低。由于人体手臂运动学存在冗余，同一个手表读数还可能对应多种手臂姿势。

提出的方法

一个 Wear OS 应用从 Samsung Galaxy Watch 5 流式传输朝向、加速度、重力、陀螺仪和气压读数，训练时与 OptiTrack 动作捕捉配对。两步标定（手表置于胸部高度以获得相对气压，手臂向前伸直以确定身体朝向）对输入进行归一化。一个 LSTM 以连续 6D 表示预测上臂和前臂的旋转，位置由已知的手臂长度推出，Monte Carlo dropout 给出姿态分布；手表麦克风上的语音识别则提供语音命令。

关键见解

相对于胸部高度标定值的气压，与手腕高度的相关性远好于原始气压（Kendall's Tau 为 −0.308，对比 −0.009）
用连续的 6D 旋转表示预测手臂旋转，再套用固定的手臂长度，优于直接以笛卡尔坐标、极坐标和四元数作为目标
由于手臂运动是时间序列，基于短序列的 LSTM 优于前馈网络
Monte Carlo dropout 能揭示多模态姿态分布，例如手可能位于头部任一侧，而不是把它们隐藏在单一估计中
肘部估计比手腕估计更准确，因为手腕误差包含了肘部误差以及前臂旋转

主要结果

最佳模型（以 6D 旋转为目标的 LSTM）：手腕中位误差 2.33 cm，肘部 1.61 cm，比两项早期单 IMU 研究报告的中位误差低 4 cm 以上
手腕 RMSE 为 3.71 ± 2.49 cm，肘部为 2.99 ± 2.19 cm，比报告 6.9 ± 2.7 cm 和 5.2 ± 2.6 cm 的一种双 IMU 方法低约 40%
手腕和肘部的平均综合误差为 2.56 cm（摘要）
训练数据：来自 6 名参与者、~50 Hz 的 381,535 条智能手表观测，与~120 Hz 的 12 相机 OptiTrack 系统对齐
在配备 GeForce RTX 2080 Ti GPU 的 Intel Xeon W-2125 CPU 上，150 次 Monte Carlo dropout 预测以~40 Hz 运行
干预任务（3 名用户 × 10 次运行）：所有运行均成功，从“stop”到释放平均 22.8 ± 7.3 s，方块放置位置距目标 2.09 ± 0.97 cm

局限

每当用户改变身体朝向或位置时都必须重复两步标定，而一种双 IMU 方法允许髋部和胸部移动
快速的手腕旋转或不符合人体工学的手臂动作会降低精度；在一个案例中，双模态预测使均值以及虚拟形象的手臂穿过了头部
用户面朝前方的方向必须恒定且已知，肩部位置被假定为固定
训练数据来自 6 名参与者，他们将手表戴在左手腕上，并保持胸部和髋部不动
多模态预测的处理（例如按安全代价选择一个模态）已被提出，但留待未来工作

对领域的影响

入围 IROS 2023 最佳 RoboCup 论文奖决赛，被引用 11 次。论文未说明是否发布代码、应用或数据集。

摘要

这项工作设计了一种经过优化的机器学习方法，用于根据单块智能手表估计人体手臂姿态。我们的方法得到可能的手腕和肘部位置的分布，从而可以衡量不确定性，并检测多个可能的手臂姿势解，即多模态姿态分布。通过将估计的手臂姿势与语音识别相结合，我们把智能手表变成了一种随处可用、低成本且用途广泛的机器人控制接口。我们在两个用例中展示了这种直观的控制接口能让用户迅速干预机器人行为、临时调整其目标，或通过模仿训练全新的控制策略。大量实验表明，该方法比当前最先进方法的预测误差降低了 40%，手腕和肘部位置的平均误差为 2.56 cm。

链接

arXiv 2306.13192: https://arxiv.org/abs/2306.13192
DOI 10.1109/IROS55552.2023.10341624: https://doi.org/10.1109/IROS55552.2023.10341624
PDF: https://arxiv.org/pdf/2306.13192v1