Physically Consistent Humanoid Loco-Manipulation Using Latent Diffusion Models

Autori: Ilyass Taouil, Haizhou Zhao, Angela Dai, Majid Khadiv · Humanoids 2025

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Immagini generate di una persona che esegue ogni sotto-compito forniscono contatti di mani e piedi e pose del robot ottenute con retargeting che guidano l'ottimizzazione di traiettoria del corpo intero in compiti umanoidi a lungo orizzonte.

Perché è importante

La pipeline non richiede euristiche specifiche per il compito né dataset 3D di interazione tra persone e oggetti: i suoi input sono un piano testuale di alto livello e immagini degli oggetti. Secondo gli autori, senza le informazioni estratte su contatti e configurazioni l'ottimizzazione di traiettoria non è riuscita a risolvere nessuno dei due compiti di prova, quindi le immagini generate forniscono il ragionamento a lungo orizzonte che manca all'ottimizzazione locale.

Problema

Gli umanoidi sono sistemi ad alta dimensionalità con una dinamica instabile, e i compiti utili di loco-manipolazione richiedono un ragionamento a lungo orizzonte a cui i metodi di pianificazione esistenti non scalano. L'ottimizzazione di traiettoria è locale e fallisce su questi compiti senza una guida, mentre le dimostrazioni in teleoperazione con umanoidi sono difficili da raccogliere perché il robot può cadere facilmente.

Soluzione proposta

A partire da un elenco ordinato di brevi prompt testuali e da immagini RGB-D degli oggetti, un modello di diffusione latente (Flux) genera immagini di una persona a figura intera che esegue ogni sotto-compito. I contatti di mani e piedi vengono trasferiti nella scena 3D combinando corrispondenze semantiche con una ricerca basata sul campionamento con SVD e ICP che verifica la sovrapposizione delle nuvole di punti, e la posa della persona (ottenuta con WHAM) viene trasferita con retargeting a una configurazione del robot a 35-D tramite cinematica inversa. Questi keyframe entrano in un'ottimizzazione di traiettoria del corpo intero basata sulla dinamica centroidale sia come termini di costo sia come warm start per sotto-compiti.

Idee chiave

• Le immagini 2D generate di persone possono fornire sia le posizioni di contatto sia le configurazioni del corpo intero, e le due insieme guidano l'ottimizzazione locale di traiettoria verso minimi locali migliori rispetto ai soli contatti.
• La corrispondenza semantica da sola non è affidabile perché gli oggetti generati differiscono da quelli reali per punto di vista, forma e texture; valutare le corrispondenze candidate in base alla sovrapposizione delle nuvole di punti (SVD, poi ICP) corregge i contatti errati.
• I keyframe funzionano meglio sia come costi sia come warm start per sotto-compiti; le impostazioni che includono il warm start tendono a convergere meglio e a compenetrarsi meno.
• Aggiungere a ogni prompt una descrizione fissa di capelli e abiti fa sì che il modello di immagini disegni una persona a figura intera, cosa necessaria per l'estrazione di contatti e posa.

Risultati principali

• Con un insieme minimo di penalità di collisione, la pipeline completa resta priva di collisioni per l'intera traiettoria in entrambi gli scenari (S1: prendere un cestino da uno scaffale spostando una scatola e salendoci sopra; S2: mettere una scatola su un carrello e spingerlo), mentre una baseline con soli contatti compenetra in modo significativo per tutto il tempo (Fig. 5).
• Senza le informazioni estratte su contatti e configurazioni, l'ottimizzazione di traiettoria non è riuscita a risolvere nessuno dei due compiti; attivare invece tutti i possibili vincoli di collisione la fa bloccare in minimi locali.
• Nel test S1 con una scatola da 5,0 kg e imbardata iniziale di 0 rad, usare tutte le componenti dei keyframe dà compenetrazione nulla; rimuovere una qualsiasi componente impedisce la convergenza o produce una forte compenetrazione.
• Le ablazioni sui keyframe coprono masse della scatola di {2,5; 5,0} kg e imbardate iniziali di {0; 0,6; 1,2} rad per S1, e {2,5; 5,0; 7,5} kg e {0; ±0,6; ±1,2} rad per S2.
• Con le penalità di collisione disattivate, il trasferimento dei contatti consapevole della geometria dà una compenetrazione sostanzialmente inferiore rispetto a quello che non ne tiene conto, in entrambi gli scenari.
• La ricerca della trasformazione rigida viene eseguita per 10 iterazioni e, in pratica, la trasformazione migliore viene trovata entro 3.

Limiti

• Validato solo in simulazione (MuJoCo con un modello di Unitree G1); gli autori indicano l'esecuzione su un umanoide reale come lavoro futuro.
• Presuppone che sia dato il piano di alto livello (prompt testuali ordinati), oltre alla posizione 3D di destinazione e all'imbardata dell'oggetto per i compiti di posizionamento; gli autori prevedono di sostituirlo con un pianificatore di compiti basato su modelli linguistici multimodali.
• In alcuni casi di ablazione l'impostazione completa dei keyframe è leggermente peggiore di quelle parziali, cosa che gli autori attribuiscono a dettagli del solver di ottimizzazione di traiettoria.
• I parametri intrinseci della fotocamera per le immagini generate sono impostati per tentativi (la risoluzione dell'immagine come lunghezza focale), e un'euristica proietta i contatti sulla superficie dell'oggetto più vicina per evitare la compenetrazione.
• I risultati sono forniti come grafici di compenetrazione per due scenari; l'articolo non riporta tassi di successo né tempi di pianificazione.

Impatto sul settore

L'articolo è stato finalista dell'Humanoids 2025 Best Oral Paper Award e ha 8 citazioni. L'articolo non rimanda a codice, dataset o pagina del progetto; fa riferimento a un video supplementare.

Abstract

Questo articolo sfrutta le capacità dei modelli di diffusione latente (LDMs) per generare scene RGB realistiche di interazione tra persone e oggetti che guidino la pianificazione della loco-manipolazione (loco-manipulation) degli umanoidi. A tal fine, estraiamo dalle immagini generate sia le posizioni di contatto sia le configurazioni del robot, che vengono poi usate all'interno di una formulazione di ottimizzazione di traiettoria (TO) del corpo intero per generare traiettorie fisicamente coerenti per gli umanoidi. Validiamo la nostra pipeline completa in simulazione per diversi scenari di loco-manipolazione a lungo orizzonte ed effettuiamo un'analisi approfondita della pipeline proposta di estrazione dei contatti e delle configurazioni del robot. I nostri risultati mostrano che, usando le informazioni estratte dai LDMs, possiamo generare traiettorie fisicamente coerenti che richiedono un ragionamento a lungo orizzonte.

Link

• arXiv 2504.16843: https://arxiv.org/abs/2504.16843
• DOI 10.1109/Humanoids65713.2025.11203092: https://doi.org/10.1109/Humanoids65713.2025.11203092
• PDF: https://arxiv.org/pdf/2504.16843v1