Anytime, Anywhere: Human Arm Pose from Smartwatch Data for Ubiquitous Robot Control and Teleoperation

Autores: Fabian C Weigend, Shubham Sonawani, Michael Drolet, Heni Ben Amor · IROS 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Uma LSTM com saída de rotação 6D, uma calibração em duas etapas e Monte Carlo dropout transformam um único smartwatch em um rastreador do braço e em uma interface de robô comandada por voz, com erro ~40 % menor que trabalhos anteriores.

Por que importa

Um smartwatch de consumo custa muito menos que uma sala de captura de movimento e não precisa de linha de visada, de modo que um usuário pode parar, guiar ou ensinar um robô de onde estiver. No estudo, os usuários pararam um robô no meio de uma tarefa, guiaram um cubo com o movimento da mão e o enviaram de volta com comandos de voz, e seis demonstrações gravadas em dois minutos treinaram uma nova política de posicionamento. A distribuição de poses também fornece um sinal de incerteza que um controlador de robô pode verificar antes de agir.

Problema

A teleoperação e a programação por demonstração precisam do movimento do braço humano, mas a captura de movimento é cara e estacionária, câmeras do tipo Kinect sofrem com limitações de linha de visada e trajes de IMU precisam de dois ou mais sensores por braço. Estimativas anteriores da pose do braço a partir da IMU de um único smartwatch tinham baixa precisão. Além disso, uma leitura do relógio pode corresponder a várias posturas do braço, já que a cinemática do braço humano é redundante.

Solução proposta

Um app Wear OS transmite leituras de orientação, aceleração, gravidade, giroscópio e pressão do ar de um Samsung Galaxy Watch 5, pareadas com captura de movimento OptiTrack para o treinamento. Uma calibração em duas etapas (relógio na altura do peito para a pressão relativa, braço esticado para a frente para a orientação do corpo) normaliza as entradas. Uma LSTM prevê as rotações do braço e do antebraço em uma representação 6D contínua, as posições decorrem de comprimentos conhecidos do braço, e o Monte Carlo dropout fornece uma distribuição de poses; o reconhecimento de fala pelo microfone do relógio acrescenta comandos de voz.

Principais ideias

A pressão do ar relativa a uma calibração na altura do peito se correlaciona muito melhor com a altura do punho do que a pressão bruta (Tau de Kendall −0,308 contra −0,009)
Prever as rotações do braço na representação contínua de rotação 6D e depois aplicar comprimentos fixos do braço superou alvos diretos cartesianos, polares e em quatérnios
LSTMs sobre sequências curtas superaram redes feedforward, já que o movimento do braço é uma série temporal
O Monte Carlo dropout expõe distribuições de pose multimodais, como uma mão que poderia estar de qualquer um dos lados da cabeça, em vez de escondê-las em uma única estimativa
As estimativas do cotovelo são mais precisas que as do punho, já que o erro do punho inclui o erro do cotovelo mais a rotação do antebraço

Principais resultados

Melhor modelo (LSTM com alvos de rotação 6D): erro mediano de 2,33 cm para o punho e 1,61 cm para o cotovelo, mais de 4 cm abaixo, em erro mediano, dos resultados relatados em dois estudos anteriores com uma única IMU
RMSE de 3,71 ± 2,49 cm para o punho e 2,99 ± 2,19 cm para o cotovelo, cerca de 40 % menor que um método com duas IMUs que relata 6,9 ± 2,7 cm e 5,2 ± 2,6 cm
Erro médio combinado de punho e cotovelo de 2,56 cm (resumo)
Dados de treinamento: 381.535 observações do smartwatch a ~50 Hz de 6 participantes, associadas a um sistema OptiTrack de 12 câmeras a ~120 Hz
150 predições com Monte Carlo dropout rodaram a ~40 Hz em uma CPU Intel Xeon W-2125 com uma GPU GeForce RTX 2080 Ti
Tarefa de intervenção (3 usuários × 10 execuções): todas as execuções tiveram sucesso, média de 22,8 ± 7,3 s do “stop” até a soltura, cubos colocados a 2,09 ± 0,97 cm do alvo

Limitações

A calibração em duas etapas precisa ser repetida sempre que o usuário muda a orientação do corpo ou de local, ao contrário de um método com duas IMUs que permite movimento do quadril e do peito
Rotações rápidas do punho ou movimentos do braço pouco ergonômicos reduzem a precisão; em um caso, uma predição bimodal colocou a média, e o braço do avatar, atravessando a cabeça
A direção frontal do usuário deve ser constante e conhecida, e a posição do ombro é assumida fixa
Os dados de treinamento vieram de 6 participantes usando o relógio no punho esquerdo e mantendo o peito e o quadril parados
O tratamento de predições multimodais, como escolher um modo por custo de segurança, é proposto, mas fica para trabalhos futuros

Impacto na área

Finalista do IROS 2023 Best RoboCup Paper Award, com 11 citações. O artigo não menciona a liberação de código, app ou conjunto de dados.

Resumo

Este trabalho desenvolve uma abordagem otimizada de aprendizado de máquina para estimar a pose do braço humano a partir de um único smartwatch. Nossa abordagem resulta em uma distribuição de posições possíveis do punho e do cotovelo, o que permite uma medida de incerteza e a detecção de múltiplas soluções possíveis de postura do braço, ou seja, distribuições de pose multimodais. Combinando as posturas do braço estimadas com reconhecimento de fala, transformamos o smartwatch em uma interface de controle de robôs ubíqua, de baixo custo e versátil. Demonstramos em dois casos de uso que essa interface de controle intuitiva permite que os usuários intervenham rapidamente no comportamento do robô, ajustem temporariamente seu objetivo ou treinem políticas de controle completamente novas por imitação. Experimentos extensivos mostram que a abordagem resulta em uma redução de 40 % no erro de predição em relação ao estado da arte atual e alcança um erro médio de 2,56 cm para as posições do punho e do cotovelo.

Open Source Robotics