Anytime, Anywhere: Human Arm Pose from Smartwatch Data for Ubiquitous Robot Control and Teleoperation

著者: Fabian C Weigend, Shubham Sonawani, Michael Drolet, Heni Ben Amor · IROS 2023

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

6D 回転を出力する LSTM、2 段階のキャリブレーション、Monte Carlo dropout により、1 台のスマートウォッチを腕のトラッカー兼音声駆動のロボットインターフェースにし、誤差を従来研究より ~40%低くした。

重要な理由

一般向けのスマートウォッチはモーションキャプチャ室よりはるかに安価で、見通し線も必要ないため、ユーザーはどこに立っていてもロボットを停止、誘導、教示できる。調査のユーザーは作業途中のロボットを止め、手の動きで立方体を誘導し、音声コマンドで元に戻した。また 2 分間で記録した 6 回のデモンストレーションで新しい配置ポリシーを学習した。姿勢分布は、ロボットの制御器が動作前に確認できる不確かさの信号にもなる。

課題

テレオペレーションやデモンストレーションによるプログラミングには人の腕の動きが必要だが、モーションキャプチャは高価で据え置き型であり、Kinect のようなカメラは見通し線の制約を受け、IMU スーツは腕 1 本につき 2 つ以上のセンサーを必要とする。1 台のスマートウォッチの IMU による従来の腕姿勢推定は精度が低かった。また人の腕の運動学は冗長であるため、1 つのウォッチの読み取り値が複数の腕の姿勢に対応しうる。

提案手法

Wear OS アプリが Samsung Galaxy Watch 5 から向き、加速度、重力、ジャイロスコープ、気圧の読み取り値をストリーミングし、学習時には OptiTrack のモーションキャプチャと対にする。2 段階のキャリブレーション（相対気圧のためにウォッチを胸の高さに置き、体の向きのために腕を前に伸ばす）で入力を正規化する。LSTM が連続的な 6D 表現で上腕と前腕の回転を予測し、位置は既知の腕の長さから求め、Monte Carlo dropout が姿勢の分布を与える。ウォッチのマイクによる音声認識が音声コマンドを追加する。

主な知見

胸の高さでのキャリブレーション値に対する相対気圧は、生の気圧よりも手首の高さとはるかに強く相関する（Kendall's Tau −0.308 対 −0.009）
連続的な 6D 回転表現で腕の回転を予測し、固定の腕の長さを適用する方法は、デカルト座標、極座標、クォータニオンを直接目標にする方法を上回った
腕の動きは時系列であるため、短いシーケンスに対する LSTM はフィードフォワードネットワークより優れていた
Monte Carlo dropout は、頭のどちら側にもありうる手のようなマルチモーダルな姿勢分布を、1 つの推定値に隠すのではなく明らかにする
手首の誤差には肘の誤差に加えて前腕の回転が含まれるため、肘の推定は手首の推定より正確である

主な結果

最良モデル（6D 回転を目標とする LSTM）：中央値誤差は手首 2.33 cm、肘 1.61 cm で、2 つの先行する単一 IMU 研究で報告された結果より中央値誤差が 4 cm 以上低い
RMSE は手首 3.71 ± 2.49 cm、肘 2.99 ± 2.19 cm で、6.9 ± 2.7 cm と 5.2 ± 2.6 cm を報告している 2 IMU 手法より約 40% 低い
手首と肘を合わせた平均誤差は 2.56 cm（アブストラクト）
学習データ：6 名の参加者からの~50 Hz のスマートウォッチ観測 381,535 件を、~120 Hz の 12 台カメラの OptiTrack システムと対応づけた
GeForce RTX 2080 Ti GPU を搭載した Intel Xeon W-2125 CPU 上で、150 回の Monte Carlo dropout 予測が~40 Hz で動作した
介入タスク（ユーザー 3 名 × 10 回）：すべての試行が成功し、「stop」から解放まで平均 22.8 ± 7.3 s、立方体は目標から 2.09 ± 0.97 cm の位置に置かれた

制限事項

腰や胸の動きを許容する 2 IMU 手法と異なり、ユーザーが体の向きや場所を変えるたびに 2 段階のキャリブレーションをやり直す必要がある
速い手首の回転や人間工学的でない腕の動きは精度を下げる。ある事例では、二峰性の予測によって平均値とアバターの腕が頭を貫通した
ユーザーの正面方向は一定かつ既知でなければならず、肩の位置は固定と仮定されている
学習データは、ウォッチを左手首に着け、胸と腰を動かさずにいた 6 名の参加者から得られた
安全コストによってモードを選ぶといったマルチモーダルな予測の扱いは提案されているが、今後の課題とされている

分野への影響

IROS 2023 Best RoboCup Paper Award のファイナリストで、被引用数は 11。論文には、コード、アプリ、データセットの公開についての記載はない。

概要

本研究は、1 台のスマートウォッチから人の腕の姿勢を推定するための、最適化された機械学習手法を考案する。本手法は手首と肘のとりうる位置の分布を出力し、不確かさの尺度と、複数の可能な腕の姿勢解、すなわちマルチモーダルな姿勢分布の検出を可能にする。推定した腕の姿勢と音声認識を組み合わせることで、スマートウォッチを、どこでも使える低コストで汎用的なロボット制御インターフェースに変える。2 つのユースケースで、この直感的な制御インターフェースにより、ユーザーがロボットの挙動に素早く介入したり、目標を一時的に調整したり、模倣によってまったく新しい制御ポリシーを学習させたりできることを示す。広範な実験により、本手法が現在の最先端手法に比べて予測誤差を 40% 削減し、手首と肘の位置で平均誤差 2.56 cm を達成することが示された。

リンク

arXiv 2306.13192: https://arxiv.org/abs/2306.13192
DOI 10.1109/IROS55552.2023.10341624: https://doi.org/10.1109/IROS55552.2023.10341624
PDF: https://arxiv.org/pdf/2306.13192v1