Anytime, Anywhere: Human Arm Pose from Smartwatch Data for Ubiquitous Robot Control and Teleoperation

Auteurs: Fabian C Weigend, Shubham Sonawani, Michael Drolet, Heni Ben Amor · IROS 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un LSTM à sortie de rotation 6D, un étalonnage en deux étapes et le Monte Carlo dropout transforment une seule montre connectée en traqueur de bras et en interface robotique pilotée par la voix, avec une erreur ~40 % plus faible que les travaux antérieurs.

Pourquoi c'est important

Une montre connectée grand public coûte bien moins cher qu'une salle de capture de mouvement et ne nécessite pas de ligne de visée, si bien qu'un utilisateur peut arrêter, guider ou instruire un robot où qu'il se trouve. Dans l'étude, les utilisateurs ont arrêté un robot en cours de tâche, guidé un cube par le mouvement de la main et l'ont renvoyé par commandes vocales, et six démonstrations enregistrées en deux minutes ont entraîné une nouvelle politique de dépose. La distribution de pose fournit aussi un signal d'incertitude qu'un contrôleur de robot peut vérifier avant d'agir.

Problème

La téléopération et la programmation par démonstration nécessitent le mouvement du bras humain, mais la capture de mouvement est coûteuse et fixe, les caméras de type Kinect souffrent de contraintes de ligne de visée, et les combinaisons IMU nécessitent deux capteurs ou plus par bras. Les estimations antérieures de la pose du bras à partir de l'IMU d'une seule montre connectée étaient peu précises. Une même mesure de la montre peut aussi correspondre à plusieurs postures du bras, la cinématique du bras humain étant redondante.

Solution proposée

Une application Wear OS diffuse les mesures d'orientation, d'accélération, de gravité, du gyroscope et de pression atmosphérique d'une Samsung Galaxy Watch 5, couplée pour l'entraînement à une capture de mouvement OptiTrack. Un étalonnage en deux étapes (montre à hauteur de poitrine pour la pression relative, bras tendu vers l'avant pour l'orientation du corps) normalise les entrées. Un LSTM prédit les rotations du bras et de l'avant-bras dans une représentation 6D continue, les positions découlent des longueurs de bras connues, et le Monte Carlo dropout fournit une distribution de poses ; la reconnaissance vocale via le microphone de la montre ajoute des commandes vocales.

Idées clés

• La pression atmosphérique relative à un étalonnage à hauteur de poitrine est bien mieux corrélée à la hauteur du poignet que la pression brute (Kendall's Tau −0,308 contre −0,009)
• Prédire les rotations du bras dans la représentation continue de rotation 6D, puis appliquer des longueurs de bras fixes, a surpassé les cibles directes cartésiennes, polaires et en quaternions
• Les LSTM sur de courtes séquences ont surpassé les réseaux feedforward, le mouvement du bras étant une série temporelle
• Le Monte Carlo dropout fait apparaître les distributions de pose multimodales, comme une main qui pourrait se trouver d'un côté ou de l'autre de la tête, au lieu de les masquer dans une seule estimation
• Les estimations du coude sont plus précises que celles du poignet, car l'erreur au poignet inclut l'erreur au coude plus la rotation de l'avant-bras

Principaux résultats

• Meilleur modèle (LSTM avec cibles de rotation 6D) : erreur médiane de 2,33 cm pour le poignet et de 1,61 cm pour le coude, soit plus de 4 cm de moins en erreur médiane que les résultats rapportés par deux études antérieures à IMU unique
• RMSE de 3,71 ± 2,49 cm pour le poignet et de 2,99 ± 2,19 cm pour le coude, environ 40 % de moins qu'une méthode à deux IMU rapportant 6,9 ± 2,7 cm et 5,2 ± 2,6 cm
• Erreur moyenne combinée poignet et coude de 2,56 cm (résumé)
• Données d'entraînement : 381 535 observations de montre connectée à ~50 Hz provenant de 6 participants, appariées à un système OptiTrack à 12 caméras à ~120 Hz
• 150 prédictions par Monte Carlo dropout ont tourné à ~40 Hz sur un CPU Intel Xeon W-2125 avec un GPU GeForce RTX 2080 Ti
• Tâche d'intervention (3 utilisateurs × 10 essais) : tous les essais ont réussi, en moyenne 22,8 ± 7,3 s entre « stop » et le lâcher, cubes posés à 2,09 ± 0,97 cm de la cible

Limites

• L'étalonnage en deux étapes doit être répété chaque fois que l'utilisateur change d'orientation du corps ou d'emplacement, contrairement à une méthode à deux IMU qui autorise les mouvements des hanches et de la poitrine
• Les rotations rapides du poignet ou les mouvements de bras non ergonomiques réduisent la précision ; dans un cas, une prédiction bimodale a fait passer la moyenne, et le bras de l'avatar, à travers la tête
• La direction vers laquelle l'utilisateur fait face doit être constante et connue, et la position de l'épaule est supposée fixe
• Les données d'entraînement proviennent de 6 participants portant la montre au poignet gauche tout en gardant la poitrine et les hanches immobiles
• Le traitement des prédictions multimodales, comme le choix d'un mode selon un coût de sécurité, est proposé mais laissé à des travaux futurs

Impact sur le domaine

Finaliste du IROS 2023 Best RoboCup Paper Award, avec 11 citations. L'article n'indique aucune publication de code, d'application ni de jeu de données.

Résumé

Ce travail conçoit une approche d'apprentissage automatique optimisée pour l'estimation de la pose du bras humain à partir d'une seule montre connectée. Notre approche produit une distribution des positions possibles du poignet et du coude, ce qui permet de mesurer l'incertitude et de détecter plusieurs solutions possibles de posture du bras, c'est-à-dire des distributions de pose multimodales. En combinant les postures de bras estimées avec la reconnaissance vocale, nous transformons la montre connectée en une interface de commande de robot omniprésente, peu coûteuse et polyvalente. Nous montrons dans deux cas d'usage que cette interface de commande intuitive permet aux utilisateurs d'intervenir rapidement dans le comportement du robot, d'ajuster temporairement leur objectif ou d'entraîner des politiques de commande entièrement nouvelles par imitation. Des expériences approfondies montrent que l'approche réduit de 40 % l'erreur de prédiction par rapport à l'état de l'art actuel et atteint une erreur moyenne de 2,56 cm pour les positions du poignet et du coude.

Liens

• arXiv 2306.13192: https://arxiv.org/abs/2306.13192
• DOI 10.1109/IROS55552.2023.10341624: https://doi.org/10.1109/IROS55552.2023.10341624
• PDF: https://arxiv.org/pdf/2306.13192v1