Do Differentiable Simulators Give Better Policy Gradients?

Autores: H.J. Terry Suh, Max Simchowitz, Kaiqing Zhang, Russ Tedrake · ICML 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Gradientes exatos do simulador podem ser enviesados ou ter alta variância sob contato, rigidez e caos; um estimador de ordem α os combina com gradientes amostrados sob um limite de precisão.

Por que importa

O artigo apresenta seus exemplos mínimos (atrito, contato rígido, colisões com geometria de arestas vivas) como abstrações de tarefas ricas em contato, como a manipulação robótica, e argumenta que tais tarefas envolvem necessariamente essas características. Seus resultados sugerem que, para políticas treinadas com um simulador diferenciável, os gradientes exatos podem conduzir a otimização a mínimos piores nesses casos, e que escolhas de modelagem do simulador, como a rigidez do contato, afetam a otimização de políticas; os autores oferecem isso como possível explicação para o fato de o RL de ordem zero ter resolvido problemas de sistemas físicos em que métodos de primeira ordem tinham dificuldades, mas só o testam em sistemas simulados simples, não em robôs.

Problema

Simuladores diferenciáveis dão gradientes exatos de uma execução (rollout), que podem substituir as estimativas de gradiente de ordem zero (baseadas em amostragem) nas quais o aprendizado por reforço geralmente se apoia. Não estava claro qual estimador funciona melhor nos objetivos de horizonte longo e não suaves que surgem no controle de sistemas físicos com contato.

Solução proposta

Os autores analisam o gradiente em lote de primeira ordem (FoBG, gradientes exatos promediados) e o gradiente em lote de ordem zero (ZoBG, no estilo REINFORCE) em um objetivo da política suavizado por ruído, sob a ótica do viés e da variância. Em seguida, propõem o gradiente em lote de ordem α (AoBG), uma mistura ponderada dos dois que escolhe α para minimizar a variância sujeita a uma restrição que o mantém próximo da estimativa não enviesada de ordem zero, recorrendo a α = 0 quando há poucas amostras para garantir a precisão.

Principais ideias

Sob descontinuidades como o atrito de Coulomb ou uma geometria de colisão com arestas vivas, o estimador de primeira ordem é enviesado, enquanto o de ordem zero continua não enviesado.
Aproximações contínuas rígidas de descontinuidades causam um 'viés empírico': com amostras finitas, a estimativa de primeira ordem mostra baixa variância empírica e, ainda assim, fica longe do gradiente verdadeiro, então a variância empírica sozinha não consegue detectar o problema.
Mesmo sem viés, estimativas de primeira ordem podem ter variância maior que as de ordem zero sob contato rígido ou dinâmica caótica, porque a variância da estimativa de ordem zero escala com o horizonte vezes a dimensão do estado, mas não com o tamanho das derivadas.
O viés e a variância dos dois estimadores os levam não apenas a taxas de convergência diferentes, mas a mínimos locais diferentes.
Interpolar pela variância empírica mínima, como em trabalhos anteriores, pode ser muito impreciso perto de descontinuidades; acrescentar uma restrição de precisão corrige isso.

Principais resultados

Para uma relaxação linear por partes do atrito de Coulomb com tolerância de deslizamento ν, a estimativa de primeira ordem tem viés empírico de (c_σν, c_σ, 0) e sua variância escala com 1/ν quando ν → 0 (com c_σ = 1/(√(2π)σ)); com ν = 0 ela passa a ser enviesada em esperança, com variância zero.
A variância da estimativa de ordem zero é limitada por B_V²B_π²·Hn/(Nσ²), escalando com o horizonte H e a dimensão do estado n, mas não com a magnitude das derivadas (Lema 3.10).
Empurrar blocos com contato por método de penalidade, horizonte H = 200: o estimador de primeira ordem superou o de ordem zero com molas macias (k = 10), o de ordem zero venceu com molas rígidas (k = 1000) e o estimador de ordem α igualou o melhor dos dois em cada caso.
Tênis (raquete no estilo breakout) com uma política de realimentação linear de d = 21 parâmetros e H = 200: os estimadores de ordem zero e de ordem α encontraram políticas que rebatiam as bolas a partir de diferentes condições iniciais, o estimador de primeira ordem ainda errava muitas bolas e o de ordem α convergiu um pouco mais rápido que o de ordem zero.
Nos exemplos da bola com parede e da transferência de momento, o estimador de primeira ordem estagnou em uma região plana ou foi empurrado pelo penhasco para uma região de alto custo, enquanto os estimadores de ordem zero e de ordem α atingiram os melhores mínimos.
No pêndulo duplo, a variância do estimador de primeira ordem superou a do de ordem zero à medida que o horizonte crescia.

Limitações

Simuladores baseados em integração temporal implícita baseada em otimização (como MuJoCo, PyBullet e esquemas quase estáticos) não foram estudados empiricamente; os autores esperam que as descontinuidades geométricas continuem sendo um problema neles e deixam isso para trabalho futuro.
Todas as demonstrações são exemplos numéricos simples escritos em PyTorch (bola, parede, barra com pivô, blocos empurrados, caixa deslizante, pêndulo duplo, raquete); nenhum robô, modelo de robô ou benchmark de aprendizado robótico é usado.
O problema de variância com contato rígido só vale até que a integração semi-implícita se torne instável com um passo de tempo fixo; reduzir o passo de tempo ajuda, ao custo de tempo de cálculo.
A restrição de precisão precisa de um limite superior prévio para a função de valor e para o jacobiano da política, e usa trajetórias independentes para os dois estimadores; quando as amostras são poucas demais para cumprir o limite, o método recorre à estimativa de ordem zero.
A análise supõe ruído gaussiano injetado nas ações, tratado como suavização do objetivo.

Impacto na área

Vencedor do ICML 2022 Outstanding Paper Award, e citado 166 vezes. O artigo não informa a disponibilização de código ou dados.

Resumo

Simuladores diferenciáveis prometem menor tempo de cálculo para o aprendizado por reforço ao substituir estimativas de gradiente de ordem zero de um objetivo estocástico por uma estimativa baseada em gradientes de primeira ordem. No entanto, ainda não está claro quais fatores decidem o desempenho dos dois estimadores em paisagens complexas que envolvem planejamento e controle de horizonte longo em sistemas físicos, apesar da relevância crucial dessa questão para a utilidade dos simuladores diferenciáveis. Mostramos que características de certos sistemas físicos, como rigidez ou descontinuidades, podem comprometer a eficácia do estimador de primeira ordem, e analisamos esse fenômeno sob a ótica do viés e da variância. Além disso, propomos um estimador de gradiente de ordem α, com α ∈ [0, 1], que utiliza corretamente os gradientes exatos para combinar a eficiência das estimativas de primeira ordem com a robustez dos métodos de ordem zero. Demonstramos as armadilhas dos estimadores tradicionais e as vantagens do estimador de ordem α em alguns exemplos numéricos.

Open Source Robotics