Forward Dynamics Model

• Aussi appelé: forward model, dynamics model, transition model
• Catégorie: Learning & autonomy › RL & simulation
• Mots-clés: dynamics, model-based-control, model-based-rl, simulation, prediction

Un modèle qui prédit comment l'état d'un système va évoluer étant donné son état actuel et une action appliquée, permettant à un robot de simuler les effets de ses actions avant de les exécuter.

Définition

Modèles de dynamique directe (forward dynamics models) : modèles qui prédisent l'état suivant d'un système à partir de son état actuel et de l'action qui lui est appliquée. Écrits de façon compacte, ils associent à l'état et à l'action l'état suivant, ou la dérivée de l'état. Ils répondent à la question « si je fais ceci, que va-t-il se passer ? », ce qui en fait l'ingrédient central de la simulation, de la planification fondée sur un modèle et de l'apprentissage par renforcement fondé sur un modèle.

En robotique classique, la dynamique directe a un sens précis : étant donné les positions, vitesses et couples articulaires d'un robot à corps rigides, calculer les accélérations articulaires qui en résultent. Celles-ci découlent des équations du mouvement, à l'aide de la matrice de masse et des termes de Coriolis, centrifuges et de gravité, et se calculent efficacement avec des algorithmes comme l'articulated body algorithm. Les simulateurs physiques comme MuJoCo, PyBullet et Drake sont construits autour de ce calcul, intégré vers l'avant dans le temps.

En apprentissage robotique, un modèle de dynamique directe est souvent appris à partir de données plutôt que dérivé. Un réseau de neurones est entraîné sur des transitions enregistrées pour prédire l'état suivant, ou une représentation latente de celui-ci, à partir de l'état et de l'action actuels. Les modèles appris peuvent capturer des effets difficiles à modéliser à la main, comme le glissement des roues sur un terrain irrégulier, la déformation d'un câble ou d'un tissu, ou la réponse de tout un système piloté par la perception. Lorsque l'état est une image ou un plongement appris, on appelle généralement la même idée un modèle du monde.

Les planificateurs utilisent les modèles directs en échantillonnant ou en optimisant des séquences d'actions, en les déroulant dans le modèle et en évaluant les résultats prédits. La principale faiblesse est l'accumulation d'erreurs : de petites erreurs à un pas grandissent sur de longs horizons de prédiction, et un planificateur peut exploiter des parties du modèle qui sont inexactes.

Pourquoi c'est important

Tout robot qui planifie en prédisant les conséquences de ses actions a besoin d'un modèle de dynamique directe, qu'il soit dérivé de la physique ou appris à partir de données. La précision de ce modèle détermine jusqu'où le robot peut planifier de façon fiable et avec quelle sécurité il peut agir dans des situations qu'il n'a jamais rencontrées.

Applications principales

• Simulation physique de robots à corps rigides
• Commande prédictive et planification par échantillonnage
• Apprentissage par renforcement fondé sur un modèle
• Prédiction du mouvement du robot sur un terrain accidenté ou déformable
• Modèles de prédiction vidéo et latente utilisés pour planifier à partir d'images

En pratique

Pour un bras robotique rigide, les équipes prennent généralement la dynamique directe d'un moteur physique ou d'une bibliothèque comme Pinocchio ou Drake, à partir d'un URDF dont les masses et inerties ont été identifiées. Pour les systèmes difficiles à modéliser, comme un robot terrestre sur un terrain mixte, elles enregistrent l'état, les actions et les données des capteurs pendant des parcours téléopérés ou autonomes, entraînent un réseau de neurones à prédire les états futurs, et le valident sur des parcours mis de côté en comparant les trajectoires prédites et réelles sur l'horizon de planification. Le modèle appris est ensuite branché sur un contrôleur par échantillonnage comme MPPI, qui y déroule de nombreuses séquences d'actions candidates et choisit la meilleure. Les ingénieurs suivent l'erreur de prédiction en fonction de la longueur de l'horizon, car c'est elle qui détermine jusqu'où le contrôleur peut planifier utilement.

Idées reçues

• Dynamique directe et dynamique inverse sont interchangeables — la dynamique directe associe aux actions le mouvement qui en résulte, tandis que la dynamique inverse associe à un mouvement souhaité les actions qui le produisent
• Un modèle qui prédit bien un pas planifiera bien — les erreurs s'accumulent sur des déroulements à plusieurs pas, et les planificateurs peuvent exploiter les inexactitudes du modèle
• Les modèles de dynamique directe sont toujours appris — en robotique classique, ils sont dérivés analytiquement des équations du mouvement du robot

Qui devrait le savoir

• Ingénieurs en commande et planification fondées sur un modèle
• Chercheurs en apprentissage robotique travaillant sur l'apprentissage par renforcement (RL) fondé sur un modèle et les modèles du monde
• Développeurs de simulation
• Équipes de robotique de terrain qui modélisent l'interaction avec le terrain

Technologies associées

• MuJoCo
• Pinocchio
• Drake
• Model Predictive Path Integral (MPPI)
• Articulated Body Algorithm
• Modèle du monde (World Model)

Termes associés

• World Model
• Inverse Dynamics Model
• Model Predictive Control

Projets associés

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• RLinf: Scalable infrastructure for post-training foundation models via RL
• Webots: Cross-platform robot simulator with built-in models, sensors, and development environment
• NVIDIA Isaac Sim: NVIDIA Omniverse app for AI-driven robot simulation and testing