Learned Perceptive Forward Dynamics Model for Safe and Platform-aware Robotic Navigation

Autori: Pascal Roth, Jonas Frey, Cesar Cadena, Marco Hutter · RSS 2025

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un modello appreso predice le pose future di ANYmal e il rischio di fallimento a partire da una scansione delle altezze e dalla cronologia propriocettiva, così un pianificatore MPPI può pianificare in sicurezza con un solo termine di obiettivo e un termine di rischio.

Perché è importante

Poiché collisioni e terreno non attraversabile sono appresi all'interno del modello, la ricompensa del pianificatore si riduce a due termini e non richiede una mappa di attraversabilità costruita a mano. Il modello è addestrato per un robot e una policy di locomozione specifici, quindi le sue predizioni riflettono quella piattaforma, e gira a bordo di una Jetson Orin AGX con 2048 traiettorie campionate a 7 Hz.

Problema

La navigazione sicura su terreno accidentato richiede una valutazione in tempo reale dell'attraversabilità in relazione a ciò che il robot specifico e la sua policy di locomozione possono fare. I pianificatori basati su una dinamica semplificata richiedono funzioni di costo progettate a mano e specifiche per ogni ambiente, e il precedente modello di dinamica diretta appreso per quadrupedi usava solo una scansione LiDAR 2D, funzionava in scene piane con ostacoli 2D e non era stato trasferito su un robot reale.

Soluzione proposta

Il Forward Dynamics Model percettivo codifica una cronologia di stati passati e misure propriocettive con una GRU e la scansione delle altezze corrente con una CNN; una seconda GRU riceve poi una sequenza di comandi di velocità e predice, per dieci passi da 0,5 s, correzioni alle velocità comandate (integrate in pose SE(2)) e una probabilità di fallimento. È preaddestrato su dati simulati di Isaac Lab, incluse collisioni e cadute, e sottoposto a fine-tuning su dati reali di ANYmal. Un pianificatore MPPI campiona sequenze di azioni, le fa scorrere attraverso il modello e le seleziona con una ricompensa per la distanza dall'obiettivo e una penalità per il rischio di fallimento.

Idee chiave

• La simulazione fornisce manovre pericolose come cadute e collisioni che non si possono raccogliere sull'hardware, mentre i dati del mondo reale coprono effetti esterni alla simulazione dei corpi rigidi, come lo scivolamento sulla neve e l'impigliarsi nella vegetazione.
• Predire correzioni di velocità e integrarle, anziché predire direttamente le pose, segue una formulazione residua rispetto alle azioni comandate.
• La scansione delle altezze è fondamentale: rimuoverla ha aumentato l'errore di posizione del 110 % in media e ridotto l'F1 di 0,13 (Appendice D).
• Mantenere il termine di rischio nel pianificatore ha aumentato il successo del 2,5 % in ambienti 2D e del 4,6 % in ambienti 3D, al costo di percorsi più lenti e prudenti.
• Una baseline 2D-LiDAR non distingue le scale dalle pareti, quindi predice collisioni troppo spesso: recall più alto ma precisione e F1 più bassi.

Risultati principali

• Errore di posizione all'ultimo passo inferiore del 41,28 % rispetto alla baseline percettiva di Kim et al. e del 70,57 % rispetto a un modello a velocità costante, in media su tutti gli ambienti (l'abstract lo arrotonda al 41 %).
• F1 della predizione dei fallimenti di 0,90 in ambienti 2D e di 0,85 in ambienti 2D-3D e 3D (Tabella II). La Sezione VI indica un'accuratezza di almeno l'89 % e la conclusione di almeno l'89,20 %, mentre l'accuratezza più bassa della Tabella II è dell'89,13 % (2D).
• Successo della pianificazione (Tabella III): 88,33 % in 2D contro 78,33 % (Kim et al.) e 82,50 % (attraversabilità euristica); 73,75 % in 3D contro 48,75 % e 33,13 %. L'abstract lo riporta come un tasso di successo più alto del 27 % in ambienti di simulazione accidentati, e la conclusione come l'81 % di successo medio nel raggiungere l'obiettivo.
• Il fine-tuning su dati reali ha ridotto l'errore medio di posizione del 34,38 % nel bosco, del 30,55 % sulla neve e del 30,30 % sull'asfalto.
• A bordo della Jetson Orin AGX: 40,6 ms di inferenza del modello per iterazione con 2048 traiettorie, pianificatore a 7 Hz; il modello ha 1,16 milioni di parametri e si addestra in circa otto ore su una RTX 4090.
• Modelli separati addestrati in simulazione per ANYmal, Barry e ANYmal-on-Wheels hanno dato predizioni diverse e specifiche per piattaforma per le stesse sequenze di azioni.

Limiti

• Il modello resta in un dominio prevalentemente geometrico ed è limitato dalla policy di locomozione; può fallire su geometrie non viste in addestramento, come scale a chiocciola, grotte o gallerie, o in condizioni estreme come ghiaccio o fango profondo.
• Gli stati di fallimento simulati non si traducono perfettamente nei fallimenti reali, e i dati del mondo reale non contengono collisioni a causa del rischio di danneggiare l'hardware.
• MPPI richiede ancora la regolazione della distribuzione delle azioni, degli intervalli dei comandi e dei fattori di correlazione temporale, e la configurazione di simulazione e apprendimento aggiunge le proprie scelte progettuali.
• Gli autori non si aspettano generalizzazione oltre il dominio di addestramento, e il metodo non considera le norme sociali né agenti dinamici veloci o multipli.
• Negli ambienti piani i fallimenti sono rari (0,042 %) e probabilmente causati da instabilità della simulazione, quindi l'F1 della predizione dei fallimenti in questi ambienti è basso (0,10).

Impatto sul settore

L'articolo è stato finalista dell'RSS 2025 Outstanding Systems Paper Award e ha 35 citazioni. Codice e modelli sono rilasciati su github.com/leggedrobotics/fdm.

Abstract

Garantire una navigazione sicura in ambienti complessi richiede una valutazione accurata e in tempo reale dell'attraversabilità e una comprensione delle interazioni con l'ambiente in relazione alle capacità del robot. I metodi tradizionali, che presuppongono una dinamica semplificata, richiedono spesso di progettare e regolare funzioni di costo per guidare in sicurezza percorsi o azioni verso l'obiettivo. Questo processo è tedioso, dipendente dall'ambiente e non generalizzabile. Per superare questi problemi, proponiamo un nuovo Forward Dynamics Model (FDM) percettivo e appreso che predice lo stato futuro del robot condizionato dalla geometria circostante e dalla cronologia delle misure propriocettive, proponendo una soluzione più scalabile, più sicura e priva di euristiche. L'FDM è addestrato su più anni di esperienza di navigazione simulata, incluse manovre ad alto rischio, e su interazioni nel mondo reale per incorporare la dinamica completa del sistema oltre la simulazione dei corpi rigidi. Integriamo il nostro FDM percettivo in un framework di pianificazione zero-shot Model Predictive Path Integral (MPPI), sfruttando la mappatura appresa tra azioni, stati futuri e probabilità di fallimento. Ciò consente di ottimizzare una funzione di costo semplificata, eliminando la necessità di un'estesa regolazione dei costi per garantire la sicurezza. Sul robot con zampe ANYmal, l'FDM percettivo proposto migliora la stima della posizione in media del 41 % rispetto a baseline competitive, il che si traduce in un tasso di successo della navigazione più alto del 27 % in ambienti di simulazione accidentati. Inoltre, dimostriamo un trasferimento sim-to-real efficace e mostriamo il vantaggio dell'addestramento su dati sintetici e reali. Codice e modelli sono resi pubblicamente disponibili su https://github.com/leggedrobotics/fdm.

Link

• arXiv 2504.19322: https://arxiv.org/abs/2504.19322
• DOI 10.48550/arXiv.2504.19322: https://doi.org/10.48550/arXiv.2504.19322
• PDF: https://arxiv.org/pdf/2504.19322v1
• Codice: https://github.com/leggedrobotics/fdm