Anytime, Anywhere: Human Arm Pose from Smartwatch Data for Ubiquitous Robot Control and Teleoperation

Autoren: Fabian C Weigend, Shubham Sonawani, Michael Drolet, Heni Ben Amor · IROS 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein LSTM mit 6D-Rotationsausgabe, eine zweistufige Kalibrierung und Monte Carlo dropout machen eine einzige Smartwatch zu einem Armtracker und einer sprachgesteuerten Roboterschnittstelle mit ~40 % geringerem Fehler als frühere Arbeiten.

Warum es wichtig ist

Eine handelsübliche Smartwatch kostet weit weniger als ein Motion-Capture-Raum und benötigt keine Sichtlinie, sodass ein Nutzer einen Roboter von jedem Standort aus stoppen, führen oder anlernen kann. Die Nutzer in der Studie stoppten einen Roboter mitten in der Aufgabe, führten einen Würfel per Handbewegung und schickten ihn mit Sprachbefehlen zurück, und sechs in zwei Minuten aufgezeichnete Demonstrationen trainierten eine neue Policy zum Ablegen. Die Posenverteilung liefert zudem ein Unsicherheitssignal, das eine Robotersteuerung vor dem Handeln prüfen kann.

Problem

Teleoperation und Programmierung durch Demonstration benötigen menschliche Armbewegungen, doch Motion Capture ist teuer und ortsfest, Kameras nach Art von Kinect leiden unter Sichtlinieneinschränkungen, und IMU-Anzüge benötigen zwei oder mehr Sensoren pro Arm. Frühere Armposenschätzungen aus der IMU einer einzigen Smartwatch hatten eine geringe Genauigkeit. Zudem kann ein einzelner Messwert der Uhr zu mehreren Armhaltungen passen, da die Kinematik des menschlichen Arms redundant ist.

Lösungsansatz

Eine Wear-OS-App streamt Orientierungs-, Beschleunigungs-, Schwerkraft-, Gyroskop- und Luftdruckwerte von einer Samsung Galaxy Watch 5, für das Training gekoppelt mit OptiTrack-Motion-Capture. Eine zweistufige Kalibrierung (Uhr auf Brusthöhe für den relativen Druck, Arm nach vorn gestreckt für die Körperausrichtung) normiert die Eingaben. Ein LSTM sagt Ober- und Unterarmrotationen in einer kontinuierlichen 6D-Darstellung vorher, Positionen ergeben sich aus bekannten Armlängen, und Monte Carlo dropout liefert eine Verteilung von Posen; Spracherkennung über das Mikrofon der Uhr ergänzt Sprachbefehle.

Wichtigste Erkenntnisse

Der Luftdruck relativ zu einer Kalibrierung auf Brusthöhe korreliert weit besser mit der Handgelenkhöhe als der Rohdruck (Kendall's Tau −0,308 gegenüber −0,009)
Armrotationen in der kontinuierlichen 6D-Rotationsdarstellung vorherzusagen und dann feste Armlängen anzuwenden, schlug direkte kartesische, polare und Quaternion-Zielgrößen
LSTMs über kurze Sequenzen übertrafen Feedforward-Netze, da Armbewegung eine Zeitreihe ist
Monte Carlo dropout macht multimodale Posenverteilungen sichtbar, etwa eine Hand, die auf beiden Seiten des Kopfes sein könnte, statt sie in einer einzigen Schätzung zu verbergen
Ellbogenschätzungen sind genauer als Handgelenkschätzungen, da der Handgelenkfehler den Ellbogenfehler plus die Unterarmrotation enthält

Hauptergebnisse

Bestes Modell (LSTM mit 6D-Rotationszielen): Medianfehler 2,33 cm für das Handgelenk und 1,61 cm für den Ellbogen, im Medianfehler mehr als 4 cm niedriger als die in zwei früheren Single-IMU-Studien berichteten Ergebnisse
RMSE 3,71 ± 2,49 cm für das Handgelenk und 2,99 ± 2,19 cm für den Ellbogen, etwa 40 % niedriger als eine Methode mit zwei IMUs, die 6,9 ± 2,7 cm und 5,2 ± 2,6 cm berichtet
Mittlerer kombinierter Fehler für Handgelenk und Ellbogen von 2,56 cm (Abstract)
Trainingsdaten: 381.535 Smartwatch-Beobachtungen mit ~50 Hz von 6 Teilnehmenden, abgeglichen mit einem OptiTrack-System mit 12 Kameras bei ~120 Hz
150 Monte-Carlo-dropout-Vorhersagen liefen mit ~40 Hz auf einer Intel Xeon W-2125 CPU mit einer GeForce RTX 2080 Ti GPU
Eingriffsaufgabe (3 Nutzer × 10 Durchläufe): Alle Durchläufe waren erfolgreich, im Mittel 22,8 ± 7,3 s von „Stopp“ bis zum Loslassen, Würfel wurden 2,09 ± 0,97 cm vom Ziel entfernt abgelegt

Einschränkungen

Die zweistufige Kalibrierung muss jedes Mal wiederholt werden, wenn der Nutzer Körperausrichtung oder Standort ändert, anders als bei einer Methode mit zwei IMUs, die Hüft- und Brustbewegungen erlaubt
Schnelle Handgelenkrotationen oder unergonomische Armbewegungen verringern die Genauigkeit; in einem Fall legte eine bimodale Vorhersage den Mittelwert, und damit den Arm des Avatars, durch den Kopf
Die nach vorn gerichtete Blickrichtung des Nutzers muss konstant und bekannt sein, und die Schulterposition wird als fest angenommen
Die Trainingsdaten stammen von 6 Teilnehmenden, die die Uhr am linken Handgelenk trugen und Brust und Hüfte stillhielten
Der Umgang mit multimodalen Vorhersagen, etwa die Wahl eines Modus nach Sicherheitskosten, wird vorgeschlagen, aber künftiger Arbeit überlassen

Wirkung auf das Fachgebiet

Finalist für den IROS 2023 Best RoboCup Paper Award, mit 11 Zitierungen. Das Paper nennt keine Veröffentlichung von Code, App oder Datensatz.

Zusammenfassung

Diese Arbeit entwickelt einen optimierten Ansatz des maschinellen Lernens zur Schätzung der menschlichen Armpose aus einer einzigen Smartwatch. Unser Ansatz liefert eine Verteilung möglicher Handgelenk- und Ellbogenpositionen, die ein Maß für die Unsicherheit und die Erkennung mehrerer möglicher Lösungen für die Armhaltung erlaubt, d. h. multimodaler Posenverteilungen. Durch die Kombination geschätzter Armhaltungen mit Spracherkennung machen wir die Smartwatch zu einer allgegenwärtigen, kostengünstigen und vielseitigen Schnittstelle zur Robotersteuerung. Wir zeigen in zwei Anwendungsfällen, dass diese intuitive Steuerungsschnittstelle es Nutzern ermöglicht, schnell in das Roboterverhalten einzugreifen, ihr Ziel vorübergehend anzupassen oder durch Imitation völlig neue Steuerungs-Policies zu trainieren. Umfangreiche Experimente zeigen, dass der Ansatz den Vorhersagefehler gegenüber dem aktuellen Stand der Technik um 40 % verringert und einen mittleren Fehler von 2,56 cm für Handgelenk- und Ellbogenpositionen erreicht.

Open Source Robotics