PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations

Autori: Kuang-Huei Lee, Ofir Nachum, Tingnan Zhang, Sergio Guadarrama, Jie Tan, Wenhao Yu · IROS 2022

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un encoder di profondità e propriocezione a 128-d addestrato con l'informazione predittiva, con una piccola testa di policy addestrata da ARS: 100 % di successo su pietre di guado reali contro il 40 % di ARS.

Perché è importante

Mantiene il parallelismo e la semplicità delle strategie evolutive riducendo il loro principale ostacolo per il controllo basato sulla visione, la dimensione dello spazio di ricerca dei parametri. Le policy sono state trasferite da PyBullet a un Laikago reale per le pietre di guado e la navigazione in interni usando la stessa procedura sim-to-real del precedente lavoro con ARS.

Problema

Le strategie evolutive come Augmented Random Search (ARS) si parallelizzano bene ed esplorano nello spazio dei parametri, ma scalano male ai numerosi parametri delle reti convoluzionali necessarie per la locomozione visiva. Nei test degli autori, le alternative basate sul gradiente SAC e PI-SAC non hanno fatto alcun progresso significativo su questi compiti, e la precedente policy di locomozione visiva con ARS raggiungeva solo il 40 % di successo su pietre di guado reali.

Soluzione proposta

PI-ARS divide l'agente in un encoder e una piccola testa di policy. L'encoder mappa due immagini di profondità 32×24 e gli stati propriocettivi in un vettore a 128-d ed è addestrato per discesa del gradiente a massimizzare l'informazione predittiva, combinando un termine InfoNCE che predice l'osservazione di profondità futura con la previsione della ricompensa tramite RNN, sulle traiettorie che ARS raccoglie già; ARS ottimizza poi solo una testa MLP a 3 strati che produce comandi di alto livello per un controllore di basso livello basato su MPC.

Idee chiave

Separare l'apprendimento di rappresentazioni (basato sul gradiente) dalla ricerca della policy (senza gradiente) evita il problema di scalabilità delle strategie evolutive mantenendone i vantaggi.
Le traiettorie dei rollout di perturbazione di ARS sono salvate in un replay buffer e riutilizzate per addestrare l'encoder, quindi l'apprendimento di rappresentazioni non richiede dati aggiuntivi dall'ambiente.
La sola previsione della ricompensa ha dato rappresentazioni troppo deboli per risolvere i compiti; è stato necessario il termine contrastivo sull'osservazione futura.
Gli autori suggeriscono che l'esplorazione nello spazio dei parametri e la stabilità di ARS siano qui decisive: aggiungere l'informazione predittiva a SAC (PI-SAC) non ha aiutato, quindi una buona rappresentazione da sola non bastava.

Risultati principali

Pietre di guado reali (quattro pietre, tre spazi di 0,12–0,18 m): PI-ARS riesce in 10 prove su 10 (100 %), contro il 40 % della baseline ARS con lo stesso addestramento e la stessa configurazione di valutazione.
Pietre di guado irregolari simulate: il ritorno medio dopo 2.000.000 di episodi di addestramento sale del 48,01 %, da 2,93 a 4,34.
PI-ARS dà ritorni più alti e una migliore efficienza campionaria rispetto ad ARS in tutti e quattro i compiti simulati: pietre di guado irregolari, pali a quinconce, piattaforme mobili e navigazione in interni.
SAC e PI-SAC non hanno fatto alcun progresso di apprendimento non trascurabile su questi compiti nonostante un'ampia regolazione degli iperparametri.
Navigazione reale in interni: la policy ha raggiunto il bersaglio e ha trovato una scorciatoia tra due ostacoli, anche se ha urtato il braccio di uno degli ostacoli.
L'addestramento ha usato 1024 perturbazioni per iterazione di ARS mantenendo le 512 migliori, fino a 4000 iterazioni (al massimo 2.048.000 episodi di simulazione per prova), e 30 prove per metodo.

Limiti

Nella navigazione reale in interni il robot ha urtato il braccio di un ostacolo perché era stato addestrato solo su ostacoli simulati a forma di scatola.
Sono stati testati solo compiti in interni; la locomozione visiva all'aperto è lasciata a lavori futuri.
La policy reale per le pietre di guado è stata addestrata su una versione più facile del terreno simulato, con variazioni minori nell'altezza delle pietre.
La navigazione in interni ha richiesto un sistema di motion capture per tracciare la posizione della base del robot per il vettore relativo all'obiettivo.
La policy appresa produce solo comandi di alto livello e dipende da un controllore di basso livello basato su MPC per eseguirli.

Impatto sul settore

Finalista per il premio al miglior articolo di IROS 2022 (Best Paper Award) e per il premio ABB al miglior articolo studentesco (ABB Best Student Paper Award), con 21 citazioni. Gli autori pubblicano una pagina con un video supplementare; l'articolo non indica alcun rilascio del codice.

Abstract

Gli algoritmi di strategie evolutive (Evolution Strategy, ES) hanno mostrato risultati promettenti nell'addestramento di policy complesse di controllo robotico grazie alla loro capacità di parallelismo massiccio, all'implementazione semplice, all'esplorazione efficace dello spazio dei parametri e ai tempi di addestramento rapidi. Tuttavia, un limite fondamentale delle ES è la loro scalabilità a modelli di grande capacità, comprese le moderne architetture di reti neurali. In questo lavoro sviluppiamo Predictive Information Augmented Random Search (PI-ARS) per mitigare questo limite sfruttando i recenti progressi nell'apprendimento di rappresentazioni per ridurre lo spazio di ricerca dei parametri delle ES. In particolare, PI-ARS combina una tecnica di apprendimento di rappresentazioni basata sul gradiente, Predictive Information (PI), con un algoritmo ES senza gradiente, Augmented Random Search (ARS), per addestrare policy in grado di elaborare input sensoriali complessi del robot e gestire una dinamica del robot fortemente non lineare. Valutiamo PI-ARS su una serie di impegnativi compiti di locomozione visiva in cui un robot quadrupede deve camminare su pietre di guado irregolari, pali disposti a quinconce e piattaforme mobili, oltre a completare un compito di navigazione in interni. In tutti i compiti, PI-ARS mostra un'efficienza di apprendimento e prestazioni significativamente migliori rispetto alla baseline ARS. Convalidiamo inoltre il nostro algoritmo dimostrando che le policy apprese possono essere trasferite con successo a un robot quadrupede reale, raggiungendo per esempio un tasso di successo del 100 % nell'ambiente reale delle pietre di guado e migliorando drasticamente i risultati precedenti, che raggiungevano il 40 % di successo.

Link

arXiv 2207.13224: https://arxiv.org/abs/2207.13224
DOI 10.1109/IROS47612.2022.9981952: https://doi.org/10.1109/IROS47612.2022.9981952
PDF: https://arxiv.org/pdf/2207.13224v1
Pagina del progetto: https://kuanghuei.github.io/piars