Do Differentiable Simulators Give Better Policy Gradients?

Auteurs: H.J. Terry Suh, Max Simchowitz, Kaiqing Zhang, Russ Tedrake · ICML 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Les gradients exacts du simulateur peuvent être biaisés ou de forte variance en présence de contacts, de raideur et de chaos ; un estimateur d'ordre α les mélange à des gradients échantillonnés sous une borne de précision.

Pourquoi c'est important

L'article présente ses exemples minimaux (frottement, contact raide, collisions avec une géométrie à arêtes vives) comme des abstractions de tâches riches en contacts telles que la manipulation robotique, et soutient que de telles tâches impliquent nécessairement ces caractéristiques. Ses résultats suggèrent que, pour des politiques entraînées avec un simulateur différentiable, les gradients exacts peuvent orienter l'optimisation vers de moins bons minima dans ces cas, et que des choix de modélisation du simulateur, comme la raideur de contact, influent sur l'optimisation de politique ; les auteurs avancent cela comme explication possible de la raison pour laquelle le RL d'ordre zéro a résolu des problèmes de systèmes physiques là où les méthodes du premier ordre peinaient, mais ils ne le testent que sur des systèmes simulés simples, pas sur des robots.

Problème

Les simulateurs différentiables fournissent les gradients exacts d'un déroulement, qui peuvent remplacer les estimations de gradient d'ordre zéro (fondées sur l'échantillonnage) sur lesquelles s'appuie habituellement l'apprentissage par renforcement. On ne savait pas clairement quel estimateur fonctionne le mieux sur les objectifs non lisses à long horizon qui apparaissent dans la commande de systèmes physiques avec contacts.

Solution proposée

Les auteurs analysent le gradient par lots du premier ordre (FoBG, moyenne de gradients exacts) et le gradient par lots d'ordre zéro (ZoBG, de type REINFORCE) sur un objectif de politique lissé par du bruit, à travers le biais et la variance. Ils proposent ensuite le gradient par lots d'ordre α (AoBG), un mélange pondéré des deux qui choisit α pour minimiser la variance sous une contrainte qui le maintient proche de l'estimation sans biais d'ordre zéro, en revenant à α = 0 lorsque les échantillons sont trop peu nombreux pour garantir la précision.

Idées clés

• En présence de discontinuités comme le frottement de Coulomb ou une géométrie de collision à arêtes vives, l'estimateur du premier ordre est biaisé tandis que l'estimateur d'ordre zéro reste sans biais.
• Des approximations continues raides de discontinuités provoquent un 'biais empirique' : avec un nombre fini d'échantillons, l'estimation du premier ordre présente une faible variance empirique tout en étant loin du vrai gradient, si bien que la variance empirique seule ne peut pas détecter le problème.
• Même sans biais, les estimations du premier ordre peuvent avoir une variance plus élevée que celles d'ordre zéro en présence de contact raide ou de dynamique chaotique, car la variance de l'estimation d'ordre zéro croît avec le produit de l'horizon et de la dimension d'état, mais pas avec la taille des dérivées.
• Le biais et la variance des deux estimateurs les conduisent non seulement à des vitesses de convergence différentes, mais à des minima locaux différents.
• Interpoler selon la variance empirique minimale, comme dans les travaux antérieurs, peut être très imprécis près des discontinuités ; ajouter une contrainte de précision corrige ce problème.

Principaux résultats

• Pour une relaxation linéaire par morceaux du frottement de Coulomb avec une tolérance de glissement ν, l'estimation du premier ordre a un biais empirique (c_σν, c_σ, 0) et sa variance évolue en 1/ν quand ν → 0 (avec c_σ = 1/(√(2π)σ)) ; à ν = 0, elle devient biaisée en espérance avec une variance nulle.
• La variance de l'estimation d'ordre zéro est bornée par B_V²B_π²·Hn/(Nσ²), croissant avec l'horizon H et la dimension d'état n mais pas avec l'amplitude des dérivées (Lemma 3.10).
• Poussée de bloc avec contact par méthode de pénalité, horizon H = 200 : l'estimateur du premier ordre a surpassé celui d'ordre zéro avec des ressorts souples (k = 10), celui d'ordre zéro l'a emporté avec des ressorts raides (k = 1000), et l'estimateur d'ordre α a égalé le meilleur des deux dans chaque cas.
• Tennis (raquette de type Breakout) avec une politique de rétroaction linéaire à d = 21 paramètres et H = 200 : les estimateurs d'ordre zéro et d'ordre α ont trouvé des politiques renvoyant les balles depuis différentes conditions initiales, l'estimateur du premier ordre manquait encore de nombreuses balles, et l'estimateur d'ordre α a convergé un peu plus vite que celui d'ordre zéro.
• Sur les exemples de la balle avec mur et du transfert de quantité de mouvement, l'estimateur du premier ordre a stagné dans une région plate ou a été poussé au-delà de la falaise dans une région de coût élevé, tandis que les estimateurs d'ordre zéro et d'ordre α ont atteint les meilleurs minima.
• Sur le double pendule, la variance de l'estimateur du premier ordre a dépassé celle de l'estimateur d'ordre zéro à mesure que l'horizon augmentait.

Limites

• Les simulateurs fondés sur une intégration temporelle implicite par optimisation (comme MuJoCo, PyBullet et les schémas quasi statiques) n'ont pas été étudiés empiriquement ; les auteurs s'attendent à ce que les discontinuités géométriques y restent un problème et laissent cela à des travaux futurs.
• Toutes les démonstrations sont de simples exemples numériques écrits en PyTorch (balle, mur, barre pivotante, blocs poussés, boîte glissante, double pendule, raquette) ; aucun robot, modèle de robot ni benchmark d'apprentissage robotique n'est utilisé.
• Le problème de variance lié au contact raide ne se pose que jusqu'à ce que l'intégration semi-implicite devienne instable à pas de temps fixe ; réduire le pas de temps aide, au prix du temps de calcul.
• La contrainte de précision nécessite une borne supérieure a priori sur la fonction de valeur et sur la jacobienne de la politique, et utilise des trajectoires indépendantes pour les deux estimateurs ; lorsque les échantillons sont trop peu nombreux pour respecter la borne, la méthode revient à l'estimation d'ordre zéro.
• L'analyse suppose un bruit gaussien injecté sur les actions, traité comme un lissage de l'objectif.

Impact sur le domaine

Lauréat du ICML 2022 Outstanding Paper Award, et cité 166 fois. L'article n'indique aucune publication de code ni de données.

Résumé

Les simulateurs différentiables promettent des temps de calcul plus courts pour l'apprentissage par renforcement en remplaçant les estimations de gradient d'ordre zéro d'un objectif stochastique par une estimation fondée sur des gradients du premier ordre. Cependant, on ne sait pas encore clairement quels facteurs déterminent les performances des deux estimateurs sur des paysages complexes impliquant la planification et la commande à long horizon de systèmes physiques, malgré l'importance cruciale de cette question pour l'utilité des simulateurs différentiables. Nous montrons que certaines caractéristiques de systèmes physiques, comme la raideur ou les discontinuités, peuvent compromettre l'efficacité de l'estimateur du premier ordre, et nous analysons ce phénomène sous l'angle du biais et de la variance. Nous proposons en outre un estimateur de gradient d'ordre α, avec α ∈ [0, 1], qui utilise correctement les gradients exacts pour combiner l'efficacité des estimations du premier ordre avec la robustesse des méthodes d'ordre zéro. Nous montrons les écueils des estimateurs traditionnels et les avantages de l'estimateur d'ordre α sur quelques exemples numériques.

Liens

• arXiv 2202.00817: https://arxiv.org/abs/2202.00817
• DOI 10.48550/arXiv.2202.00817: https://doi.org/10.48550/arXiv.2202.00817
• PDF: https://arxiv.org/pdf/2202.00817v1