PACE Sim2Real

Transfert sim-to-real systématique par identification de la dynamique des actionneurs

Licence

Apache-2.0

Aperçu

PACE (Precise Adaptation through Continuous Evolution) est un cadre systématique du Robotic Systems Lab de l'ETH Zurich pour identifier la dynamique des actionneurs et des articulations afin d'améliorer le transfert sim-to-real des robots à pattes. Avec de simples codeurs articulaires standard, PACE identifie la dynamique des moteurs, le frottement, l'amortissement et la souplesse articulaire, les paramètres qui causent le plus souvent l'écart avec la réalité. L'approche est indépendante du matériel, a été validée sur plusieurs plateformes quadrupèdes et réduit nettement la perte de performance entre simulation et réalité.

PACE (Precise Adaptation through Continuous Evolution) est un cadre du Robotic Systems Lab de l'ETH Zurich qui s'attaque à l'écart sim-to-real des robots à pattes. Il propose une approche systématique pour identifier les paramètres de dynamique des actionneurs et des articulations à l'aide des seuls codeurs articulaires standard, puis utilise ces paramètres pour créer des simulations plus fidèles.

La méthode centrale combine l'identification de systèmes fondée sur les données et l'optimisation évolutionnaire CMA-ES. En enregistrant des trajectoires de mouvement simples sur le matériel réel, PACE apprend des paramètres physiquement significatifs comme le frottement, l'amortissement et les caractéristiques de réponse des actionneurs. Ces paramètres sont ensuite appliqués aux environnements de simulation de NVIDIA Isaac Lab, ce qui améliore nettement le transfert des politiques.

PACE a été validé sur de vraies plateformes quadrupèdes, dont ANYmal, avec des gains mesurables de performance de locomotion lors du transfert de politiques entraînées par RL de la simulation vers le matériel. Le cadre est conçu pour être indépendant de la plateforme et prend en charge plusieurs configurations de robots et types d'actionneurs.

Pourquoi c'est important

PACE s'attaque à l'un des plus grands obstacles au déploiement de politiques de locomotion apprises : l'écart entre la simulation et le matériel physique. En proposant une méthode systématique, fondée sur les données, pour identifier la dynamique des actionneurs à l'aide des seuls codeurs articulaires standard, il rend accessible un transfert sim-to-real haute fidélité sans dispositif de capteurs coûteux.

Le problème résolu

Les politiques d'apprentissage par renforcement entraînées en simulation échouent souvent sur les robots réels, car les simulateurs modélisent mal la dynamique des actionneurs, le frottement et le comportement des articulations. PACE résout ce problème en apprenant des paramètres dynamiques physiquement significatifs à partir de données du matériel réel, puis en les réinjectant dans la simulation pour une fidélité de transfert nettement améliorée.

Points clés

• Utilise l'optimisation évolutionnaire CMA-ES pour identifier les paramètres de dynamique des actionneurs et des articulations
• Ne nécessite que des codeurs articulaires standard — aucun capteur supplémentaire
• S'intègre directement à NVIDIA Isaac Lab pour des flux sim-to-real fluides
• Prend en charge d'emblée plusieurs plateformes robotiques et types d'actionneurs
• Développé et validé par le Robotic Systems Lab de l'ETH Zurich sur de vrais quadrupèdes

Pour qui

• Chercheurs en robotique à pattes qui travaillent sur la locomotion et le transfert sim-to-real
• Praticiens du RL qui déploient des politiques apprises de la simulation vers des robots physiques
• Ingénieurs en robotique qui ont besoin de modèles d'actionneurs précis pour la fidélité de la simulation
• Utilisateurs de NVIDIA Isaac Lab qui veulent améliorer leur chaîne sim-to-real

Limites

• Nécessite NVIDIA Isaac Lab (et Isaac Sim 5.0+) pour toutes les fonctionnalités
• Actuellement centré sur les robots à pattes — l'applicabilité à d'autres types de robots n'a pas été testée
• Les besoins en GPU d'Isaac Sim peuvent limiter l'accessibilité sur du matériel grand public
• L'identification des paramètres exige d'abord de collecter des données de mouvement sur le matériel réel