Loco-Manipulation

Detto anche: loco manipulation, locomanipulation, whole-body loco-manipulation, legged mobile manipulation
Categoria: Control › Locomotion control
Tag: humanoid, legged-robots, whole-body-control, manipulation, locomotion, mobile-manipulation

L'uso coordinato delle capacità di locomozione e di manipolazione di un robot, in cui muovere il corpo e maneggiare oggetti vengono pianificati e controllati insieme invece che come passi separati.

Definizione

Loco-manipolazione (loco-manipulation) indica i compiti in cui un robot deve muovere il proprio corpo nell'ambiente e interagire fisicamente con oggetti allo stesso tempo, o in una sequenza strettamente accoppiata. Esempi sono un umanoide che porta una scatola su per una rampa, un quadrupede con un braccio che apre una porta e la attraversa, o un robot con gambe che spinge un carrello. Il termine unisce locomozione e manipolazione per sottolineare che le due non possono essere trattate separatamente quando la base del robot è mobile e i suoi contatti con il mondo cambiano di continuo.

La manipolazione mobile classica spesso disaccoppia il problema: portare la base in un punto, fermarsi, poi usare il braccio. La loco-manipolazione invece tratta l'intero corpo come un unico sistema. Le forze applicate dalle mani o dall'end effector influenzano l'equilibrio, il posizionamento dei piedi e il movimento della base, e il movimento della base a sua volta cambia ciò che le braccia possono raggiungere. Un umanoide che solleva un oggetto pesante deve spostare il proprio baricentro; un quadrupede che preme un pulsante con una zampa anteriore perde quella zampa come appoggio.

Gli approcci si dividono in due grandi famiglie. I metodi basati su modello usano il controllo del corpo intero e l'ottimizzazione, come il controllo predittivo basato su modello su sequenze di contatti e dinamica centroidale, risolvendo insieme i compiti di piedi, mani e torso nel rispetto dei limiti di attrito e di coppia. I metodi basati sull'apprendimento addestrano policy con apprendimento per rinforzo in simulazione o apprendono da dati di movimento umano, spesso facendo il retargeting di dimostrazioni umane sul corpo del robot. I sistemi ibridi combinano una policy di locomozione appresa con pianificatori o controllori basati su modello per gli obiettivi di manipolazione.

Le difficoltà principali sono pianificare sequenze di contatti che coinvolgono sia l'ambiente sia l'oggetto manipolato, regolare le forze di interazione restando in equilibrio e ottenere abbastanza dati di addestramento che catturino interazioni realistiche tra persone e oggetti. Le piattaforme usate in questo lavoro includono robot umanoidi, quadrupedi dotati di braccia e robot con gambe e ruote.

Perché è importante

Molti compiti utili in case, magazzini e luoghi di disastro richiedono che un robot trasporti, spinga, apra o si arrampichi mentre si muove, non solo che cammini o solo che afferri. La loco-manipolazione è la capacità che trasforma i robot con gambe e umanoidi da piattaforme mobili in macchine capaci di svolgere lavoro fisico in spazi costruiti per le persone.

Applicazioni principali

Robot umanoidi che trasportano, sollevano e posano oggetti mentre camminano
Quadrupedi con braccia che aprono porte, premono pulsanti e recuperano oggetti
Spingere e tirare carrelli, carrelli da trasporto e oggetti pesanti
Salire su mobili, scale e altri elementi della scena e interagire con essi
Compiti di ispezione e intervento in siti industriali o luoghi di disastro

In pratica

Un team che lavora su un umanoide, o su un quadrupede con braccio, di solito parte da un controllore di locomozione affidabile e poi vi aggiunge obiettivi di manipolazione, come compiti aggiuntivi in un controllore del corpo intero oppure come comandi e ricompense aggiuntivi per una policy appresa. In simulazione si randomizzano massa degli oggetti, attrito e posizioni di contatto, così che la policy impari a restare in equilibrio sotto carichi imprevisti. I dati di motion capture umano o di teleoperazione vengono spesso sottoposti a retargeting sul robot per fornire movimenti di riferimento per interazioni come raccogliere scatole o sedersi su mobili. Sull'hardware, gli ingegneri provano con diversi carichi utili e monitorano le coppie ai giunti e gli stati di contatto dei piedi per vedere dove il controllore bilancia l'equilibrio con le prestazioni nel compito.

Idee sbagliate comuni

La loco-manipolazione è solo una base mobile con un braccio imbullonato sopra — la caratteristica distintiva è che il movimento del corpo e le forze di interazione sono accoppiati e vanno controllati insieme
Buoni controllori di locomozione e di manipolazione si possono semplicemente combinare — le forze della manipolazione disturbano l'equilibrio e richiedono un controllo del corpo intero coordinato o un addestramento congiunto
Si applica solo agli umanoidi — quadrupedi con braccia, robot con gambe e ruote e robot che manipolano con le zampe sono tutti studiati sotto lo stesso termine

Chi dovrebbe saperlo

Ricercatori di robotica umanoide e con gambe
Ingegneri di controllo che lavorano sul controllo del corpo intero
Team di apprendimento robotico che addestrano policy per la manipolazione mobile
Sviluppatori che integrano braccia su piattaforme quadrupedi

Tecnologie correlate

Controllo del corpo intero (Whole-Body Control)
Controllo predittivo basato su modello (Model Predictive Control)
Apprendimento per rinforzo (Reinforcement Learning)
Retargeting del movimento (Motion Retargeting)
Dinamica centroidale (Centroidal Dynamics)
Ottimizzazione a contatto implicito (Contact-Implicit Optimization)

Termini correlati

Progetti correlati

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Open Duck Mini V2: An open-source mini duck robot you 3D-print and build, inspired by Disney's BDX droid
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation