Extreme Parkour with Legged Robots

Sistema RL per il parkour di robot con zampe, addestrato in meno di 20 ore

Licenza

BSD-3-Clause

Panoramica

Sistema di apprendimento per rinforzo che consente ai robot con zampe di eseguire manovre di parkour, tra cui scavalcare ostacoli, saltare oltre i vuoti e muoversi su terreni impegnativi. Addestrato in meno di 20 ore con il simulatore Isaac Gym.

Questa ricerca innovativa presentata a ICRA 2024 dimostra come i robot con zampe possano apprendere abilità complesse di parkour tramite apprendimento per rinforzo in tempi di addestramento notevolmente brevi. Il sistema usa una pipeline di addestramento in due fasi: l'addestramento della policy di base (8-10 ore) seguito dall'addestramento della policy di distillazione. Costruito su Isaac Gym con PyTorch, il framework consente ai robot di eseguire senza interruzioni manovre di arrampicata, balzo e salto che in precedenza si riteneva richiedessero un'ampia progettazione manuale. L'approccio combina l'ambiente legged_gym con la libreria di apprendimento per rinforzo rsl_rl e supporta sia la visualizzazione nel simulatore sia la visualizzazione via web per i sistemi headless. I modelli possono essere esportati come versioni JIT-traced da eseguire su dispositivi edge, il che rende la tecnologia pratica per applicazioni nel mondo reale.

Perché è importante

Extreme Parkour ha dimostrato che l'apprendimento per rinforzo può insegnare ai robot con zampe manovre agili che rivaleggiano con quelle di animali addestrati. Il sistema ha imparato ad arrampicarsi, saltare e strisciare attraverso gli ostacoli in meno di 20 ore di addestramento, una svolta nell'agilità dei robot con zampe.

Il problema che risolve

I robot con zampe sono di solito limitati alla camminata su terreno piano. Questo progetto mostra che l'RL può scoprire comportamenti di locomozione agili che permettono ai robot di superare ostacoli estremi, avvicinandoci a robot in grado di muoversi su qualsiasi terreno.

Punti chiave

• Robot con zampe che fanno parkour: arrampicarsi, saltare e strisciare attraverso gli ostacoli
• Addestrato interamente in simulazione con l'apprendimento per rinforzo
• Meno di 20 ore di addestramento per ottenere manovre estreme
• Trasferito con successo su robot Unitree reali in modalità zero-shot
• Nessuna andatura preprogrammata: tutti i comportamenti sono appresi end-to-end

A chi si rivolge

• Ricercatori nella locomozione con zampe
• Team che sviluppano controller agili per quadrupedi
• Ricercatori RL che studiano il controllo motorio complesso
• Aziende che costruiscono robot da impiegare su terreni accidentati

Limiti

• Richiede una configurazione di simulazione specifica per l'addestramento
• Il trasferimento nel mondo reale è limitato a specifici hardware robotici Unitree
• Le manovre estreme possono causare usura o danni all'hardware
• L'approccio attuale è specifico per il compito anziché di uso generale