HumanPlus: Humanoid Shadowing and Imitation from Humans

Autori: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, Chelsea Finn · CoRL 2024

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Una policy di RL addestrata su 40 h di movimento umano permette a un umanoide a 33-DoF di copiare un operatore ripreso da una sola telecamera RGB; quei dati di teleoperazione addestrano poi policy di abilità basate sulla visione con il 60–100 % di successo.

Perché è importante

La configurazione di teleoperazione richiede un operatore e una telecamera RGB (indicata a $50 nel confronto dell'articolo) e controlla insieme corpo e mani, compresi l'accovacciarsi e il camminare. I team che lavorano con umanoidi ottengono un percorso da dimostrazioni di corpo intero a basso costo ad abilità autonome senza costruire una simulazione specifica per ogni abilità.

Problema

In linea di principio gli umanoidi potrebbero apprendere da grandi quantità di dati di movimento umano, ma le differenze di morfologia e attuazione, la difficoltà della percezione e del controllo del corpo intero e la mancanza di una pipeline accessibile di dati di corpo intero lo hanno impedito. La teleoperazione di umanoidi precedente si basava su tute di motion capture, esoscheletri o visori VR, che gli autori descrivono come costosi e limitati nei luoghi in cui possono essere usati.

Soluzione proposta

Una policy di basso livello basata su un transformer solo decoder (Humanoid Shadowing Transformer) viene addestrata con PPO in simulazione su pose umane di AMASS rimappate sul robot, poi messa in opera zero-shot a 50 Hz con un controllore PD a 1000 Hz. La posa del corpo (WHAM) e quella delle mani (HaMeR), stimate da una sola telecamera RGB, vengono rimappate in tempo reale, così un operatore guida l'intero robot mentre due telecamere sulla testa registrano dati egocentrici. Un Humanoid Imitation Transformer solo decoder, adattato da ACT, viene addestrato su queste dimostrazioni e aggiunge una loss L2 sulle feature di immagini future predette per evitare che la policy ignori la visione.

Idee chiave

• Un'unica policy di basso livello indipendente dal compito, condizionata a pose obiettivo e addestrata su movimento umano rimappato (retargeting), sostituisce la progettazione delle ricompense per singola abilità e si trasferisce zero-shot all'hardware.
• Lo shadowing da una telecamera RGB consente a un solo operatore di controllare insieme corpo e mani; le baseline cinestetica, in stile ALOHA e con Meta Quest richiedevano due o più operatori e non supportavano il controllo del corpo intero.
• Predire token di feature di immagini future insieme alle azioni impedisce a una policy visiva di andare in overfitting sulla propriocezione; ACT senza questo accorgimento restava bloccato a ripetere sotto-compiti già completati.
• L'input binoculare conta quando conta la profondità: la variante monoculare ha fallito completamente Wear a Shoe and Walk e ha gestito il tavolo in modo brusco in Fold Clothes.

Risultati principali

• Successo sull'intero compito della policy di imitazione: Fold Clothes 100 %, Rearrange Objects 90 %, Type "AI" 80 %, Two-Robot Greeting 90 %, Warehouse 90 %, Wear a Shoe and Walk 60 %, usando 25–40 dimostrazioni per compito.
• Wear a Shoe and Walk (40 dimostrazioni): 60 % per HIT contro lo 0 % della variante monoculare, di ACT e della riproduzione ad anello aperto; ACT ha ottenuto lo 0 % anche su Type "AI", ma ha eguagliato HIT su Fold Clothes, Warehouse e Two-Robot Greeting.
• Studio con sei partecipanti: il tempo per l'intero compito su Rearrange Objects è stato di 5,20 s con lo shadowing contro 6,60 s in modo cinestetico, 7,15 s in stile ALOHA e 8,87 s con Meta Quest; solo lo shadowing ha potuto eseguire il compito con accovacciamento Rearrange Lower Objects (15,34 s).
• Prove di spinta al bacino: la policy appresa ha resistito a 32/44/70/100 N (avanti/indietro/sinistra/destra) contro 24/36/40/40 N del controllore predefinito dell'H1, e si è ripresa in 1,2 s contro 15 s.
• La policy appresa si accovaccia fino a 0,44 m (controllore predefinito 0,85 m), salta 0,35 m (predefinito 0 m) e si alza da una sedia, cosa che il controllore predefinito non riesce a fare.
• La stima e il retargeting della posa del corpo girano a 25 fps e la posa delle mani a 10 fps su una RTX 4090; la policy di imitazione gira a bordo a 25 Hz, alimentando la policy di basso livello a 50 Hz.

Limiti

• L'hardware ha meno DoF di un essere umano: caviglie a 1-DoF impediscono movimenti come sollevare e scuotere una gamba, e braccia a 5-DoF (polso compreso) limitano il controllo nello spazio operativo a 6-DoF e lasciano regioni irraggiungibili durante lo shadowing.
• Le telecamere egocentriche sono fisse sulla testa e non attive, quindi mani e interazioni possono uscire dall'inquadratura.
• Una mappa di retargeting fissa scarta le articolazioni umane che il robot non ha, il che può limitare l'apprendimento a un sottoinsieme dei movimenti umani.
• La stima della posa fallisce con occlusioni ampie, limitando dove l'operatore può stare; l'operatore dipende inoltre dalla visuale diretta sul robot.
• La navigazione a lungo orizzonte non è affrontata; gli autori affermano che richiederebbe molte più dimostrazioni e un inseguimento accurato della velocità nel mondo reale.

Impatto sul settore

Finalista del CoRL 2024 Outstanding Paper Award, con 442 citazioni. La pagina ufficiale del progetto rimanda al codice su github.com/MarkFzp/humanplus.

Abstract

Uno degli argomenti principali per costruire robot con fattori di forma simili a quelli degli esseri umani è che possiamo sfruttare l'enorme quantità di dati umani per l'addestramento. Tuttavia, farlo è rimasto difficile nella pratica a causa delle complessità della percezione e del controllo degli umanoidi, delle persistenti differenze fisiche tra umanoidi ed esseri umani in morfologia e attuazione, e della mancanza di una pipeline di dati che permetta agli umanoidi di apprendere abilità autonome dalla visione egocentrica. In questo articolo presentiamo un sistema full-stack con cui gli umanoidi apprendono movimenti e abilità autonome da dati umani. Prima addestriamo una policy di basso livello in simulazione tramite apprendimento per rinforzo usando dataset esistenti di movimento umano da 40 ore. Questa policy si trasferisce al mondo reale e consente ai robot umanoidi di seguire in tempo reale il movimento del corpo e delle mani di una persona usando solo una telecamera RGB, ovvero lo shadowing. Attraverso lo shadowing, gli operatori umani possono teleoperare gli umanoidi per raccogliere dati di corpo intero con cui apprendere compiti diversi nel mondo reale. Con i dati raccolti eseguiamo poi un behavior cloning supervisionato per addestrare policy di abilità basate sulla visione egocentrica, consentendo agli umanoidi di completare compiti diversi in modo autonomo imitando abilità umane. Dimostriamo il sistema sul nostro umanoide personalizzato a 33-DoF da 180cm, che completa in modo autonomo compiti come indossare una scarpa per alzarsi e camminare, scaricare oggetti dagli scaffali di un magazzino, piegare una felpa, riordinare oggetti, digitare e salutare un altro robot, con tassi di successo del 60-100 % usando fino a 40 dimostrazioni. Sito web del progetto: https://humanoid-ai.github.io/

Link

• arXiv 2406.10454: https://arxiv.org/abs/2406.10454
• DOI 10.48550/arXiv.2406.10454: https://doi.org/10.48550/arXiv.2406.10454
• PDF: https://raw.githubusercontent.com/mlresearch/v270/main/assets/fu25a/fu25a.pdf
• Codice: https://github.com/MarkFzp/humanplus
• Pagina del progetto: https://humanoid-ai.github.io/