Anytime, Anywhere: Human Arm Pose from Smartwatch Data for Ubiquitous Robot Control and Teleoperation

Autores: Fabian C Weigend, Shubham Sonawani, Michael Drolet, Heni Ben Amor · IROS 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Una LSTM con salida de rotación 6D, una calibración en dos pasos y Monte Carlo dropout convierten un solo reloj inteligente en un rastreador del brazo y en una interfaz de robot guiada por voz, con un error ~40 % menor que trabajos anteriores.

Por qué importa

Un reloj inteligente de consumo cuesta mucho menos que una sala de captura de movimiento y no necesita línea de visión, de modo que un usuario puede detener, guiar o enseñar a un robot desde donde esté. En el estudio, los usuarios detuvieron un robot a mitad de tarea, guiaron un cubo con el movimiento de la mano y lo devolvieron con comandos de voz, y seis demostraciones grabadas en dos minutos entrenaron una nueva política de colocación. La distribución de poses también ofrece una señal de incertidumbre que un controlador de robot puede comprobar antes de actuar.

Problema

La teleoperación y la programación por demostración necesitan el movimiento del brazo humano, pero la captura de movimiento es cara y estacionaria, las cámaras de tipo Kinect sufren limitaciones de línea de visión y los trajes de IMU necesitan dos o más sensores por brazo. Las estimaciones anteriores de la pose del brazo a partir de la IMU de un solo reloj inteligente eran poco precisas. Además, una misma lectura del reloj puede corresponder a varias posturas del brazo, ya que la cinemática del brazo humano es redundante.

Solución propuesta

Una aplicación de Wear OS transmite lecturas de orientación, aceleración, gravedad, giroscopio y presión del aire desde un Samsung Galaxy Watch 5, emparejadas con captura de movimiento OptiTrack para el entrenamiento. Una calibración en dos pasos (reloj a la altura del pecho para la presión relativa, brazo extendido hacia delante para la orientación del cuerpo) normaliza las entradas. Una LSTM predice las rotaciones del brazo y del antebrazo en una representación 6D continua, las posiciones se obtienen a partir de longitudes conocidas del brazo, y Monte Carlo dropout da una distribución de poses; el reconocimiento de voz con el micrófono del reloj añade comandos de voz.

Ideas clave

• La presión del aire relativa a una calibración a la altura del pecho se correlaciona mucho mejor con la altura de la muñeca que la presión bruta (Tau de Kendall −0,308 frente a −0,009)
• Predecir las rotaciones del brazo en la representación continua de rotación 6D y aplicar después longitudes fijas del brazo superó a los objetivos directos cartesianos, polares y en cuaterniones
• Las LSTMs sobre secuencias cortas superaron a las redes prealimentadas, ya que el movimiento del brazo es una serie temporal
• Monte Carlo dropout pone de manifiesto distribuciones de pose multimodales, como una mano que podría estar a cualquiera de los dos lados de la cabeza, en lugar de ocultarlas en una única estimación
• Las estimaciones del codo son más precisas que las de la muñeca, ya que el error de la muñeca incluye el error del codo más la rotación del antebrazo

Resultados principales

• Mejor modelo (LSTM con objetivos de rotación 6D): error mediano de 2,33 cm para la muñeca y 1,61 cm para el codo, más de 4 cm por debajo en error mediano de los resultados publicados en dos estudios anteriores con una sola IMU
• RMSE de 3,71 ± 2,49 cm para la muñeca y 2,99 ± 2,19 cm para el codo, aproximadamente un 40 % menor que un método con dos IMU que reporta 6,9 ± 2,7 cm y 5,2 ± 2,6 cm
• Error medio combinado de muñeca y codo de 2,56 cm (resumen)
• Datos de entrenamiento: 381 535 observaciones del reloj inteligente a ~50 Hz de 6 participantes, emparejadas con un sistema OptiTrack de 12 cámaras a ~120 Hz
• 150 predicciones con Monte Carlo dropout se ejecutaron a ~40 Hz en una CPU Intel Xeon W-2125 con una GPU GeForce RTX 2080 Ti
• Tarea de intervención (3 usuarios × 10 ejecuciones): todas las ejecuciones tuvieron éxito, con una media de 22,8 ± 7,3 s desde «stop» hasta la liberación, y cubos colocados a 2,09 ± 0,97 cm del objetivo

Limitaciones

• La calibración en dos pasos debe repetirse cada vez que el usuario cambia la orientación del cuerpo o de ubicación, a diferencia de un método con dos IMU que admite movimiento de la cadera y del pecho
• Las rotaciones rápidas de la muñeca o los movimientos del brazo poco ergonómicos reducen la precisión; en un caso, una predicción bimodal situó la media, y el brazo del avatar, atravesando la cabeza
• La dirección frontal del usuario debe ser constante y conocida, y se supone fija la posición del hombro
• Los datos de entrenamiento procedían de 6 participantes que llevaban el reloj en la muñeca izquierda manteniendo quietos el pecho y la cadera
• El tratamiento de las predicciones multimodales, como elegir un modo según un coste de seguridad, se propone pero queda para trabajo futuro

Impacto en el campo

Finalista del IROS 2023 Best RoboCup Paper Award, con 11 citas. El artículo no indica la publicación de código, de la aplicación ni de conjuntos de datos.

Resumen

Este trabajo desarrolla un enfoque optimizado de aprendizaje automático para estimar la pose del brazo humano a partir de un solo reloj inteligente. Nuestro enfoque produce una distribución de posiciones posibles de la muñeca y el codo, lo que permite una medida de la incertidumbre y la detección de múltiples soluciones posibles de postura del brazo, es decir, distribuciones de pose multimodales. Combinando las posturas del brazo estimadas con el reconocimiento de voz, convertimos el reloj inteligente en una interfaz de control de robots ubicua, de bajo coste y versátil. Demostramos en dos casos de uso que esta interfaz de control intuitiva permite a los usuarios intervenir con rapidez en el comportamiento del robot, ajustar temporalmente su objetivo o entrenar políticas de control completamente nuevas por imitación. Amplios experimentos muestran que el enfoque logra una reducción del 40 % del error de predicción respecto al estado del arte actual y alcanza un error medio de 2,56 cm para las posiciones de la muñeca y el codo.

Enlaces

• arXiv 2306.13192: https://arxiv.org/abs/2306.13192
• DOI 10.1109/IROS55552.2023.10341624: https://doi.org/10.1109/IROS55552.2023.10341624
• PDF: https://arxiv.org/pdf/2306.13192v1