Perceptive pedipulation with local obstacle avoidance

Autori: Jonas Stolle, Philip Arm, Mayank Mittal, Marco Hutter · Humanoids 2024

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Policy di RL end-to-end per ANYmal che insegue un comando di posizione del piede evitando gli ostacoli con tutto il corpo, usando una scansione delle altezze 2,5D e un interruttore che consente il contatto intenzionale del piede.

Perché è importante

L'interfaccia di controllo resta un singolo comando di posizione del piede, quindi un operatore umano o un pianificatore di alto livello può usarla vicino agli ostacoli senza pianificare un movimento privo di collisioni per l'intero corpo. Dà a un quadrupede capacità di manipolazione senza un braccio dedicato, che secondo gli autori aggiunge massa e complessità e riduce la capacità di carico utile.

Problema

Le precedenti policy di pedipolazione inseguono un comando di posizione del piede usando solo la propriocezione, quindi non possono evitare gli ostacoli e urtano qualsiasi cosa sul loro cammino. Mettere un pianificatore consapevole degli ostacoli sopra una policy cieca lascia comunque il resto del corpo libero di collidere, e gli ampi margini di sicurezza necessari per evitarlo escludono il lavoro in spazi ristretti.

Soluzione proposta

Un'unica policy di RL, addestrata in NVIDIA Isaac Lab, riceve la propriocezione, una scansione delle altezze di 2,4 m × 1,6 m con risoluzione di 0,1 m e un comando di posizione del piede, e produce offset di posizione dei giunti. L'addestramento si svolge in tre fasi: pedipolazione senza ostacoli con un curriculum sullo spazio dei comandi, poi ostacoli mobili a parallelepipedo in cinque scenari con penalità sia sugli eventi sia sulle forze di contatto, poi rumore aggiunto alla mappa di elevazione per il trasferimento sim-to-real. Un interruttore di contatto booleano decide se il contatto con il piede anteriore destro viene penalizzato, così la stessa policy può evitare un ostacolo oppure spingerlo.

Idee chiave

• Penalizzare sia gli eventi di contatto sia l'intensità delle forze di contatto blocca due scorciatoie: spingere un ostacolo con una forza minima e scansarlo con una spinta breve ad alta forza.
• Cinque scenari di addestramento statici con parallelepipedi sono bastati perché la policy evitasse forme mai viste e ostacoli in movimento; gli autori deducono che tratta ogni cella occupata della scansione delle altezze come una colonna di spazio da evitare, anziché riconoscere la forma degli oggetti.
• Ostacoli mobili, anziché ostacoli di terreno statico, costano tempo di addestramento ma permettono alla policy di imparare a spingere gli oggetti quando l'interruttore di contatto lo consente.
• Addestrare prima la pedipolazione senza ostacoli e aggiungere gli ostacoli in seguito accelera l'addestramento.
• La policy insegue punti, non traiettorie, quindi raggiungere un punto dietro la propria schiena può lasciarla in una posa poco adatta a seguire il resto di un percorso.

Risultati principali

• Inseguimento nello spazio libero su 1024 comandi campionati: errore medio di 0,057 m con l'interruttore di contatto a 0 (evitare) e di 0,047 m con l'interruttore a 1 (contatto consentito).
• Raggiungimento attorno a un angolo in simulazione: la precedente policy cieca ha urtato l'angolo ed è caduta; la policy percettiva ha seguito un percorso più lungo evitando le collisioni.
• Prove in simulazione con un solo ostacolo: nessuna autocollisione né collisione con l'ambiente in tutte e quattro le prove; con un ostacolo abbassato il piede è passato sopra invece di aggirarlo.
• Quattro ostacoli: con un varco di 1,3 m la policy ha smesso di ruotare la base e ha raggiunto il punto dietro la propria schiena, con alcune collisioni a bassa forza sul retro della base; i percorsi di comando in senso orario hanno peggiorato l'inseguimento.
• Sull'hardware ANYmal il piede ha aggirato una scatola di cartone mentre il comando la attraversava (ripetuto cinque volte), e ha aggirato un bidone metallico rotondo mai visto in addestramento.
• Interruttore di contatto sull'hardware: con l'interruttore a 1 il robot ha spinto l'ostacolo fino a rovesciarlo per raggiungere il comando, terminando con un errore di inseguimento di 0,073 m.

Limiti

• Gli autori affermano che il controllore gestisce male alcuni casi limite, tra cui ostacoli direttamente sotto la base e spazi ristretti non visti in addestramento.
• La scansione delle altezze 2,5D rappresenta solo strutture che rientrano in una mappa 2,5D e sono più grandi del passo della griglia; gli autori auspicano una rappresentazione 3D.
• Gli ostacoli dinamici laterali sono stati evitati solo sul lato destro del robot, e la velocità di reazione è limitata dalla frequenza di aggiornamento della mappa di elevazione.
• In simulazione la policy a volte restava bloccata a causa del suo campo visivo percettivo limitato o della mancanza di spazio per ruotare la base.
• Evitare il contatto con il piede che esegue la pedipolazione riduce leggermente l'accuratezza di inseguimento nello spazio libero (0,057 m contro 0,047 m).

Impatto sul settore

Finalista dello Humanoids 2024 Best Interactive Presentation Award, con 12 citazioni. L'articolo non rimanda a codice, policy addestrate o dati.

Abstract

La pedipolazione sfrutta i piedi dei robot con zampe per la manipolazione mobile, eliminando la necessità di bracci robotici dedicati. Sebbene lavori precedenti abbiano mostrato capacità di pedipolazione cieche e specifiche per un compito, non tengono conto degli ostacoli statici e dinamici nell'ambiente. Per superare questo limite, introduciamo un approccio basato sull'apprendimento per rinforzo per addestrare una policy del corpo intero consapevole degli ostacoli che insegue comandi di posizione del piede evitando al tempo stesso gli ostacoli. Pur addestrando la policy in soli cinque diversi scenari statici in simulazione, mostriamo che generalizza ad ambienti sconosciuti con numeri e tipi di ostacoli diversi. Analizziamo le prestazioni del nostro metodo con una serie di esperimenti in simulazione e impieghiamo con successo la policy appresa sul quadrupede ANYmal, dimostrandone la capacità di seguire i comandi del piede mentre naviga attorno a ostacoli statici e dinamici.

Link

• arXiv 2409.07195: https://arxiv.org/abs/2409.07195
• DOI 10.1109/Humanoids58906.2024.10769896: https://doi.org/10.1109/Humanoids58906.2024.10769896
• PDF: https://arxiv.org/pdf/2409.07195v1