Motion Retargeting

• Detto anche: motion mapping, motion transfer, kinematic retargeting, human-to-robot motion transfer
• Categoria: Control › Human in the loop
• Tag: motion-retargeting, teleoperation, humanoid

Trasferimento del movimento da un corpo sorgente a un robot obiettivo con dimensioni fisiche diverse, per la teleoperazione e il trasferimento di abilità dall'uomo al robot.

Definizione

Il retargeting del movimento è il processo di trasferimento del movimento da un corpo sorgente a un corpo obiettivo con dimensioni fisiche, configurazioni dei giunti o gradi di libertà diversi. In robotica significa soprattutto riportare il movimento umano (acquisito tramite motion capture, controller VR o video) sul corpo di un robot, così che il robot riproduca il movimento voluto dalla persona pur avendo proporzioni e strutture dei giunti fondamentalmente diverse.

La difficoltà è che una copia diretta degli angoli dei giunti tra corpi con lunghezze dei link, limiti dei giunti e gradi di libertà diversi produce movimenti irriconoscibili o fisicamente irrealizzabili. Una rotazione della spalla umana può corrispondere a una combinazione di tre giunti del robot. Un allungamento del braccio umano che arriva a 70 cm può dover essere scalato per un braccio robotico che arriva solo a 50 cm. Gli algoritmi di retargeting del movimento risolvono questi problemi di corrispondenza preservando il carattere essenziale e l'intento del movimento originale.

Gli approcci al retargeting rientrano in diverse categorie. Il retargeting geometrico riporta posizioni e orientamenti dell'end effector dalla sorgente all'obiettivo, usando la cinematica inversa per ricavare gli angoli dei giunti dell'obiettivo. Questo preserva il comportamento nello spazio operativo (dove vanno le mani), ma può produrre movimenti innaturali nello spazio dei giunti. Il retargeting basato sull'ottimizzazione formula il problema come minimizzazione di una funzione di costo che bilancia l'inseguimento nello spazio operativo, il rispetto dei limiti dei giunti, l'evitamento delle autocollisioni e la fluidità del movimento. Il retargeting basato sull'apprendimento addestra reti neurali su dati di movimento accoppiati per scoprire corrispondenze che si generalizzano a movimenti diversi.

Il retargeting del movimento è diventato fondamentale per due flussi di lavoro emergenti della robotica. Il primo è la teleoperazione per la raccolta di dati: operatori con visori VR generano dati di dimostrazione per l'apprendimento robotico eseguendo i compiti in modo naturale, mentre il retargeting converte i loro movimenti nello spazio delle azioni del robot in tempo reale. Il secondo è il passaggio dai video umani al movimento del robot: estrarre il movimento umano dai video su internet e trasferirlo con il retargeting su corpi robotici, il che potrebbe fornire enormi dataset di addestramento senza alcun hardware robotico.

Lavori recenti hanno esteso il retargeting al controllo del corpo intero degli umanoidi, in cui il movimento dell'intero corpo di una persona (camminare, piegarsi, allungarsi) viene trasferito con il retargeting su un umanoide con distribuzione delle masse, limiti dei giunti e vincoli di equilibrio diversi. Questo richiede non solo un retargeting cinematico ma anche una verifica della fattibilità dinamica, per garantire che il robot obiettivo possa eseguire fisicamente il movimento senza cadere.

Perché è importante

Il retargeting del movimento è il ponte tra l'abilità umana e l'esecuzione robotica. Le persone possono dimostrare in modo naturale praticamente qualsiasi compito di manipolazione o di locomozione, ma i robot hanno corpi diversi. Il retargeting permette di sfruttare le dimostrazioni umane (da sessioni di teleoperazione, motion capture o persino video su internet) come dati di addestramento per le policy dei robot. Man mano che il settore passa dall'apprendimento su costose dimostrazioni specifiche per robot all'apprendimento su dati umani su larga scala, il retargeting diventa una tecnologia collo di bottiglia: la qualità del movimento trasferito determina direttamente la qualità del comportamento appreso dal robot.

Applicazioni principali

• Raccolta di dati in teleoperazione: convertire l'input dei controller VR e del tracciamento delle mani in comandi ai giunti del robot per dimostrazioni in tempo reale o registrate
• Controllo del corpo intero degli umanoidi: riportare il movimento dell'intero corpo umano su robot umanoidi per locomozione, danza e compiti di manipolazione
• Apprendimento dai video umani: estrarre sequenze di pose umane dai video su internet e trasferirle con il retargeting come dati di addestramento per i robot
• Animazione e simulazione: trasferire dati di motion capture su modelli di robot per la visualizzazione, la validazione della pianificazione e il funzionamento di gemelli digitali (Digital Twin)
• Trasferimento tra robot: trasferire con il retargeting abilità apprese su una piattaforma robotica a un robot diverso con una cinematica diversa
• Controllo delle protesi: convertire il movimento dell'arto residuo in comandi per il dispositivo protesico con una qualità di movimento naturale

In pratica

Il progetto HumanPlus di Stanford riporta sul robot umanoide Unitree H1 il movimento dell'intero corpo umano acquisito da una sola telecamera RGB. Un operatore umano si limita a camminare, allungarsi e manipolare oggetti mentre viene ripreso. La stima della posa umana estrae le posizioni 3D delle articolazioni, che vengono poi trasferite con il retargeting sul modello cinematico dell'H1 tramite un'ottimizzazione che minimizza l'errore di posizione dell'end effector rispettando i limiti dei giunti del robot e mantenendo l'equilibrio. I movimenti trasferiti servono come dati di dimostrazione per addestrare policy di locomozione e manipolazione con l'apprendimento per imitazione. La qualità del retargeting è fondamentale: se i movimenti trasferiti violano i vincoli fisici del robot, le policy apprese falliranno sull'hardware reale.

Idee sbagliate comuni

• Il retargeting del movimento consiste solo nello scalare gli angoli dei giunti: strutture cinematiche diverse significano che non esiste una semplice corrispondenza lineare; il retargeting richiede di risolvere la cinematica inversa, gestire la ridondanza e rispettare i vincoli fisici
• Il movimento trasferito è sempre fisicamente realizzabile: il retargeting cinematico può produrre movimenti che violano i limiti di coppia, causano autocollisioni o fanno perdere l'equilibrio; la fattibilità dinamica va verificata a parte
• Il retargeting del movimento si applica solo agli umanoidi: si usa anche per riportare il movimento della mano umana su pinze a più dita, il movimento del braccio umano su bracci industriali e persino la locomozione animale su robot con zampe
• Un retargeting perfetto significa una riproduzione esatta: un buon retargeting preserva l'intento del compito e le interazioni di contatto, non necessariamente le traiettorie esatte dei giunti; un robot può ottenere la stessa presa con una configurazione del braccio completamente diversa

Chi dovrebbe saperlo

• Ingegneri di sistemi di teleoperazione che costruiscono interfacce uomo-robot
• Ricercatori di robotica umanoide che lavorano sulla generazione del movimento dell'intero corpo
• Ricercatori di apprendimento robotico che raccolgono dati di dimostrazione tramite teleoperazione
• Ricercatori di computer grafica che lavorano sul retargeting per l'animazione dei personaggi
• Ingegneri biomeccanici che studiano il movimento umano per protesi o esoscheletri

Tecnologie correlate

• Risolutori di cinematica inversa
• Sistemi di teleoperazione VR
• Stima della posa umana
• Modello corporeo SMPL
• Sistemi di motion capture (MoCap)
• IK basata sull'ottimizzazione

Progetti correlati

• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
• XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
• DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
• GEAR-SONIC: NVIDIA's whole-body controller for the Unitree G1, trained to track any human motion

Video

• REEM - Motion retargeting: PAL Robotics
• Robust Real-time Whole-Body Motion Retargeting from Human to Humanoid: HUCEBOT @ Inria