Anytime, Anywhere: Human Arm Pose from Smartwatch Data for Ubiquitous Robot Control and Teleoperation

Autori: Fabian C Weigend, Shubham Sonawani, Michael Drolet, Heni Ben Amor · IROS 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Una LSTM con uscita di rotazione 6D, una calibrazione in due fasi e il Monte Carlo dropout trasformano un solo smartwatch in un sistema di tracciamento del braccio e in un'interfaccia robotica comandata a voce, con un errore inferiore di ~40 % rispetto ai lavori precedenti.

Perché è importante

Uno smartwatch di consumo costa molto meno di una sala di motion capture e non richiede linea di vista, quindi un utente può fermare, guidare o istruire un robot ovunque si trovi. Nello studio, gli utenti hanno fermato un robot a metà compito, guidato un cubo con il movimento della mano e lo hanno rimandato indietro con comandi vocali, e sei dimostrazioni registrate in due minuti hanno addestrato una nuova policy di posizionamento. La distribuzione delle pose fornisce inoltre un segnale di incertezza che un controllore robotico può verificare prima di agire.

Problema

La teleoperazione e la programmazione per dimostrazione richiedono il movimento del braccio umano, ma il motion capture è costoso e fisso, le telecamere di tipo Kinect soffrono di limiti di linea di vista e le tute con IMU richiedono due o più sensori per braccio. Le precedenti stime della posa del braccio dall'IMU di un solo smartwatch erano poco accurate. Inoltre, una singola lettura dell'orologio può corrispondere a più posture del braccio, poiché la cinematica del braccio umano è ridondante.

Soluzione proposta

Un'app Wear OS trasmette letture di orientamento, accelerazione, gravità, giroscopio e pressione dell'aria da un Samsung Galaxy Watch 5, abbinate al motion capture OptiTrack per l'addestramento. Una calibrazione in due fasi (orologio all'altezza del petto per la pressione relativa, braccio teso in avanti per l'orientamento del corpo) normalizza gli input. Una LSTM predice le rotazioni del braccio e dell'avambraccio in una rappresentazione 6D continua, le posizioni si ricavano da lunghezze del braccio note, e il Monte Carlo dropout fornisce una distribuzione di pose; il riconoscimento vocale tramite il microfono dell'orologio aggiunge i comandi vocali.

Idee chiave

• La pressione dell'aria relativa a una calibrazione all'altezza del petto è correlata molto meglio con l'altezza del polso rispetto alla pressione grezza (Tau di Kendall −0,308 contro −0,009)
• Predire le rotazioni del braccio nella rappresentazione continua di rotazione 6D, applicando poi lunghezze fisse del braccio, ha superato i target diretti cartesiani, polari e in quaternioni
• Le LSTM su sequenze brevi hanno superato le reti feedforward, poiché il movimento del braccio è una serie temporale
• Il Monte Carlo dropout fa emergere distribuzioni di posa multimodali, come una mano che potrebbe trovarsi da una parte o dall'altra della testa, invece di nasconderle in un'unica stima
• Le stime del gomito sono più accurate di quelle del polso, poiché l'errore del polso include l'errore del gomito più la rotazione dell'avambraccio

Risultati principali

• Miglior modello (LSTM con target di rotazione 6D): errore mediano di 2,33 cm per il polso e 1,61 cm per il gomito, oltre 4 cm in meno di errore mediano rispetto ai risultati riportati in due precedenti studi con una sola IMU
• RMSE di 3,71 ± 2,49 cm per il polso e 2,99 ± 2,19 cm per il gomito, circa il 40 % in meno rispetto a un metodo con due IMU che riporta 6,9 ± 2,7 cm e 5,2 ± 2,6 cm
• Errore medio combinato di polso e gomito di 2,56 cm (abstract)
• Dati di addestramento: 381.535 osservazioni dello smartwatch a ~50 Hz da 6 partecipanti, abbinate a un sistema OptiTrack a 12 telecamere a ~120 Hz
• 150 predizioni con Monte Carlo dropout sono state eseguite a ~40 Hz su una CPU Intel Xeon W-2125 con una GPU GeForce RTX 2080 Ti
• Compito di intervento (3 utenti × 10 prove): tutte le prove sono riuscite, in media 22,8 ± 7,3 s dallo «stop» al rilascio, cubi posizionati a 2,09 ± 0,97 cm dall'obiettivo

Limiti

• La calibrazione in due fasi va ripetuta ogni volta che l'utente cambia orientamento del corpo o posizione, a differenza di un metodo con due IMU che consente movimenti di anca e petto
• Rotazioni rapide del polso o movimenti del braccio poco ergonomici riducono l'accuratezza; in un caso una predizione bimodale ha fatto passare la media, e il braccio dell'avatar, attraverso la testa
• La direzione frontale dell'utente deve essere costante e nota, e la posizione della spalla è supposta fissa
• I dati di addestramento provenivano da 6 partecipanti che indossavano l'orologio al polso sinistro tenendo fermi petto e anca
• La gestione delle predizioni multimodali, ad esempio la scelta di una moda in base a un costo di sicurezza, è proposta ma lasciata a lavori futuri

Impatto sul settore

Finalista dello IROS 2023 Best RoboCup Paper Award, con 11 citazioni. L'articolo non indica il rilascio di codice, app o dataset.

Abstract

Questo lavoro sviluppa un approccio di machine learning ottimizzato per la stima della posa del braccio umano a partire da un solo smartwatch. Il nostro approccio produce una distribuzione di possibili posizioni del polso e del gomito, che consente una misura dell'incertezza e il rilevamento di più soluzioni possibili per la postura del braccio, cioè distribuzioni di posa multimodali. Combinando le posture del braccio stimate con il riconoscimento vocale, trasformiamo lo smartwatch in un'interfaccia di controllo dei robot ubiqua, economica e versatile. Dimostriamo in due casi d'uso che questa interfaccia di controllo intuitiva consente agli utenti di intervenire rapidamente sul comportamento del robot, di modificarne temporaneamente l'obiettivo o di addestrare policy di controllo completamente nuove per imitazione. Esperimenti approfonditi mostrano che l'approccio porta a una riduzione del 40 % dell'errore di predizione rispetto all'attuale stato dell'arte e raggiunge un errore medio di 2,56 cm per le posizioni di polso e gomito.

Link

• arXiv 2306.13192: https://arxiv.org/abs/2306.13192
• DOI 10.1109/IROS55552.2023.10341624: https://doi.org/10.1109/IROS55552.2023.10341624
• PDF: https://arxiv.org/pdf/2306.13192v1