Differentiable Simulation

• Aussi appelé: differentiable physics, differentiable simulator, differentiable dynamics
• Catégorie: Software & tooling › Simulation & twins
• Mots-clés: simulation, automatic-differentiation, system-identification, trajectory-optimization, sim-to-real, physics-engine

Une simulation physique capable de calculer les gradients de ses sorties par rapport à ses entrées et à ses paramètres, de sorte que les contrôleurs, les conceptions et les modèles de robots peuvent être optimisés directement par descente de gradient.

Définition

Simulation différentiable (differentiable simulation) : simulation physique écrite de façon à pouvoir calculer des dérivées à travers elle. Un simulateur classique prend un état, des entrées de commande et des paramètres physiques, et renvoie l'état suivant. Un simulateur différentiable renvoie en plus la manière dont cet état suivant, ou toute grandeur calculée à partir d'une trajectoire simulée entière, varie par rapport à ces entrées. Les gradients sont généralement obtenus par différentiation automatique dans des frameworks tels que JAX, PyTorch ou NVIDIA Warp, ou à partir des dérivées analytiques des équations de la dynamique.

Les gradients à travers la physique ouvrent plusieurs usages. En optimisation de trajectoire, une séquence de commandes peut être améliorée en suivant le gradient d'un coût à travers le déroulement (rollout) simulé. En apprentissage de politiques, les gradients de politique analytiques rétropropagent une perte de tâche à travers le simulateur jusqu'au réseau de la politique, ce qui peut demander beaucoup moins d'échantillons que les méthodes d'apprentissage par renforcement qui estiment les gradients à partir des seules récompenses. En identification de systèmes, des paramètres tels que la masse, le frottement ou la raideur sont ajustés à des mesures réelles, et en co-conception les dimensions d'un robot sont optimisées en même temps que son contrôleur.

La robotique est un terrain exigeant pour la physique différentiable à cause du contact. Les impacts et le frottement créent des discontinuités et une dynamique raide, si bien que le vrai gradient peut être nul, indéfini ou trompeur. Les simulateurs traitent ce problème avec des modèles de contact lissés ou souples, des forces de pénalité compliantes, ou en différenciant à travers les problèmes d'optimisation utilisés pour résoudre le contact. Chaque choix échange de la précision physique contre de la qualité de gradient. Les longs déroulements ajoutent un second problème : les gradients peuvent exploser ou s'évanouir au fil de nombreux pas de temps, et le paysage d'optimisation peut être accidenté même lorsque les gradients existent.

La simulation différentiable est souvent combinée à des composants appris. Un réseau de neurones peut modéliser les parties de la dynamique difficiles à établir, comme le comportement des actionneurs ou la déformation des corps mous, tandis que le reste du simulateur reste fondé sur la physique, et l'ensemble du système est entraîné de bout en bout. Le rendu différentiable permet aux gradients de remonter des images de caméra vers les paramètres de la scène. Parmi les outils disponibles figurent MuJoCo MJX, Brax et NVIDIA Warp.

Pourquoi c'est important

Les gradients permettent à l'optimisation d'exploiter la structure de la physique au lieu de traiter le simulateur comme une boîte noire, ce qui peut rendre l'apprentissage, l'étalonnage et la conception bien plus économes en données. La simulation différentiable est aussi un moyen pratique d'ajuster les simulateurs au matériel réel, réduisant l'écart entre comportement simulé et comportement réel.

Applications principales

• Identification de systèmes — ajustement des paramètres physiques de robots et d'objets à des données mesurées
• Optimisation de trajectoire — affinage de séquences de commande par descente de gradient à travers la dynamique simulée
• Apprentissage de politiques — entraînement de contrôleurs avec des gradients analytiques à travers le simulateur
• Modélisation de robots souples — étalonnage de simulations de corps déformables sur du matériel réel
• Co-conception de robots — optimisation des paramètres mécaniques en même temps que le contrôleur

En pratique

Une équipe qui utilise la simulation différentiable peut d'abord enregistrer des données de mouvement et de couple articulaire sur son robot, puis ajuster les paramètres de frottement, d'amortissement et de masse en minimisant par descente de gradient l'écart entre trajectoires simulées et mesurées. Avec le modèle étalonné, elle peut optimiser une trajectoire ou entraîner une politique en rétropropageant une perte de tâche à travers de courts déroulements simulés, souvent en tronquant l'horizon ou en mêlant gradients analytiques et apprentissage par renforcement pour garder des gradients stables. Elle vérifie soigneusement la qualité des gradients, par exemple par comparaison avec des différences finies, et prête attention aux réglages du contact, car des paramètres de contact souple choisis pour obtenir des gradients lisses peuvent rendre la simulation moins fidèle au robot réel.

Idées reçues

• La simulation différentiable donne toujours de meilleurs gradients que l'apprentissage par renforcement — les discontinuités de contact et les longs horizons peuvent rendre les gradients analytiques bruités ou trompeurs
• N'importe quel simulateur devient différentiable si on l'enveloppe dans une différentiation automatique — la gestion non lisse du contact, le code à branchements et les solveurs itératifs exigent un traitement particulier pour produire des gradients utiles
• Différentiable signifie plus précis — la différentiabilité concerne le calcul des dérivées ; le lissage destiné à obtenir de bons gradients peut réduire la précision physique

Qui devrait le savoir

• Chercheurs en apprentissage robotique travaillant sur la commande et l'apprentissage fondés sur des modèles
• Ingénieurs en simulation qui développent des moteurs physiques
• Chercheurs en robotique souple qui étalonnent des modèles déformables
• Ingénieurs automaticiens qui utilisent l'optimisation de trajectoire

Technologies associées

• Différentiation automatique (Automatic Differentiation)
• JAX
• MuJoCo MJX
• NVIDIA Warp
• Optimisation de trajectoire (Trajectory Optimization)
• Identification de systèmes (System Identification)

Termes associés

• Digital Twin
• Sim2Real
• Reinforcement Learning
• System Identification

Projets associés

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• RLinf: Scalable infrastructure for post-training foundation models via RL
• Webots: Cross-platform robot simulator with built-in models, sensors, and development environment

Vidéos

• Finally, Differentiable Physics is Here!: Two Minute Papers
• Learning on the Fly: Rapid Policy Adaptation via Differentiable Simulation (RA-L 2026): UZH Robotics and Perception Group