Do Differentiable Simulators Give Better Policy Gradients?

Autori: H.J. Terry Suh, Max Simchowitz, Kaiqing Zhang, Russ Tedrake · ICML 2022

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

I gradienti esatti del simulatore possono essere distorti o ad alta varianza con contatti, rigidezza e caos; uno stimatore di ordine α li combina con gradienti campionati sotto un vincolo di accuratezza.

Perché è importante

L'articolo presenta i suoi esempi minimi (attrito, contatto rigido, collisioni con geometrie a spigoli vivi) come astrazioni di compiti ricchi di contatti come la manipolazione robotica, e sostiene che tali compiti comportano necessariamente queste caratteristiche. I suoi risultati suggeriscono che, per policy addestrate con un simulatore differenziabile, i gradienti esatti possono portare l'ottimizzazione verso minimi peggiori in questi casi, e che le scelte di modellazione del simulatore, come la rigidezza del contatto, influenzano l'ottimizzazione della policy; gli autori lo propongono come possibile spiegazione del perché l'RL di ordine zero abbia risolto problemi di sistemi fisici in cui i metodi del primo ordine erano in difficoltà, ma lo verificano solo su semplici sistemi simulati, non su robot.

Problema

I simulatori differenziabili forniscono gradienti esatti di un rollout, che possono sostituire le stime del gradiente di ordine zero (basate sul campionamento) su cui di solito si basa l'apprendimento per rinforzo. Non era chiaro quale stimatore funzionasse meglio sugli obiettivi a lungo orizzonte e non lisci che emergono nel controllo di sistemi fisici con contatti.

Soluzione proposta

Gli autori analizzano il gradiente batch del primo ordine (FoBG, gradienti esatti mediati) e il gradiente batch di ordine zero (ZoBG, in stile REINFORCE) su un obiettivo della policy smussato dal rumore, in termini di bias e varianza. Propongono poi il gradiente batch di ordine α (AoBG), una combinazione pesata dei due che sceglie α per minimizzare la varianza soggetta a un vincolo che lo mantiene vicino alla stima non distorta di ordine zero, ricadendo su α = 0 quando i campioni sono troppo pochi per garantire l'accuratezza.

Idee chiave

In presenza di discontinuità come l'attrito di Coulomb o geometrie di collisione a spigoli vivi, lo stimatore del primo ordine è distorto, mentre quello di ordine zero resta non distorto.
Le approssimazioni continue rigide delle discontinuità causano un 'bias empirico': con campioni finiti la stima del primo ordine mostra una bassa varianza empirica pur essendo lontana dal gradiente vero, quindi la sola varianza empirica non può rilevare il problema.
Anche senza bias, le stime del primo ordine possono avere varianza maggiore di quelle di ordine zero con contatti rigidi o dinamiche caotiche, perché la varianza della stima di ordine zero scala con l'orizzonte per la dimensione dello stato ma non con l'entità delle derivate.
Bias e varianza dei due stimatori li portano non solo a velocità di convergenza diverse ma a minimi locali diversi.
Interpolare in base alla varianza empirica minima, come nei lavori precedenti, può essere molto impreciso vicino alle discontinuità; aggiungere un vincolo di accuratezza risolve il problema.

Risultati principali

Per un rilassamento lineare a tratti dell'attrito di Coulomb con tolleranza di slittamento ν, la stima del primo ordine ha un bias empirico (c_σν, c_σ, 0) e la sua varianza scala con 1/ν per ν → 0 (con c_σ = 1/(√(2π)σ)); per ν = 0 diventa distorta in valore atteso con varianza nulla.
La varianza della stima di ordine zero è limitata da B_V²B_π²·Hn/(Nσ²), e scala con l'orizzonte H e la dimensione dello stato n ma non con l'entità delle derivate (Lemma 3.10).
Spinta di blocchi con contatto a metodo di penalità, orizzonte H = 200: lo stimatore del primo ordine ha superato quello di ordine zero con molle morbide (k = 10), quello di ordine zero ha vinto con molle rigide (k = 1000) e lo stimatore di ordine α ha eguagliato il migliore dei due in ciascun caso.
Tennis (racchetta in stile breakout) con una policy a retroazione lineare di d = 21 parametri e H = 200: gli stimatori di ordine zero e di ordine α hanno trovato policy che rimandavano le palline da diverse condizioni iniziali, lo stimatore del primo ordine mancava ancora molte palline e quello di ordine α è converso leggermente più in fretta di quello di ordine zero.
Negli esempi della pallina con parete e del trasferimento di quantità di moto, lo stimatore del primo ordine si è bloccato in una regione piatta o è stato spinto oltre il dirupo in una regione ad alto costo, mentre gli stimatori di ordine zero e di ordine α hanno raggiunto i minimi migliori.
Sul doppio pendolo, la varianza dello stimatore del primo ordine ha superato quella dello stimatore di ordine zero al crescere dell'orizzonte.

Limiti

I simulatori basati su integrazione temporale implicita basata su ottimizzazione (come MuJoCo, PyBullet e gli schemi quasi-statici) non sono stati studiati empiricamente; gli autori si aspettano che le discontinuità geometriche restino un problema anche lì e lo lasciano a lavori futuri.
Tutte le dimostrazioni sono semplici esempi numerici scritti in PyTorch (pallina, parete, barra con perno, blocchi spinti, scatola che scivola, doppio pendolo, racchetta); non viene usato alcun robot, modello di robot o benchmark di apprendimento robotico.
Il problema di varianza con contatti rigidi vale solo finché l'integrazione semi-implicita non diventa instabile a passo temporale fisso; ridurre il passo temporale aiuta a scapito del tempo di calcolo.
Il vincolo di accuratezza richiede un limite superiore a priori sulla funzione di valore e sullo jacobiano della policy, e usa traiettorie indipendenti per i due stimatori; quando i campioni sono troppo pochi per rispettare il limite, il metodo ricade sulla stima di ordine zero.
L'analisi presuppone rumore gaussiano iniettato sulle azioni, trattato come uno smussamento dell'obiettivo.

Impatto sul settore

Vincitore dell'ICML 2022 Outstanding Paper Award, e citato 166 volte. L'articolo non dichiara il rilascio di codice o dati.

Abstract

I simulatori differenziabili promettono tempi di calcolo più rapidi per l'apprendimento per rinforzo sostituendo le stime del gradiente di ordine zero di un obiettivo stocastico con una stima basata su gradienti del primo ordine. Tuttavia, non è ancora chiaro quali fattori determinino le prestazioni dei due stimatori su paesaggi complessi che comportano pianificazione e controllo a lungo orizzonte su sistemi fisici, nonostante l'importanza cruciale di questa questione per l'utilità dei simulatori differenziabili. Mostriamo che caratteristiche di certi sistemi fisici, come la rigidezza o le discontinuità, possono compromettere l'efficacia dello stimatore del primo ordine, e analizziamo questo fenomeno attraverso la lente di bias e varianza. Proponiamo inoltre uno stimatore del gradiente di ordine α, con α ∈ [0, 1], che utilizza correttamente i gradienti esatti per combinare l'efficienza delle stime del primo ordine con la robustezza dei metodi di ordine zero. Dimostriamo le insidie degli stimatori tradizionali e i vantaggi dello stimatore di ordine α su alcuni esempi numerici.

Link

arXiv 2202.00817: https://arxiv.org/abs/2202.00817
DOI 10.48550/arXiv.2202.00817: https://doi.org/10.48550/arXiv.2202.00817
PDF: https://arxiv.org/pdf/2202.00817v1