ASAP

Framework sim-to-real pour les compétences agiles de corps entier humanoïde utilisant des modèles delta action

Licence

MIT

Aperçu

ASAP (Aligning Simulation and Real-World Physics) est un framework en deux étapes pour transférer des compétences agiles de corps entier depuis la simulation vers de vrais robots humanoïdes. Il s'attaque au problème fondamental de décalage dynamique entre la physique simulée et la physique réelle qui fait échouer les politiques entraînées sur le vrai matériel.

Le framework introduit un nouveau modèle delta action qui capture explicitement les différences de physique résiduelles entre la simulation et le monde réel. Le pipeline se compose de quatre étapes : le pré-entraînement de suivi de mouvement basé sur les phases, l'entraînement du modèle delta action, l'affinage de la politique avec le modèle delta action, et le déploiement dans le monde réel.

ASAP est construit sur HumanoidVerse, un framework multi-simulateur qui permet l'entraînement sur IsaacGym, IsaacSim et les simulateurs Genesis. Il utilise des modèles de corps SMPL pour le reciblage de mouvement à partir de données de capture de mouvement humain vers des robots humanoïdes, permettant au Unitree G1 d'effectuer des compétences hautement dynamiques incluant des coups de pied, des sauts, des mouvements de danse et des mouvements athlétiques.

Développé à l'Université Carnegie Mellon en collaboration avec NVIDIA. Accepté à RSS 2025.

ASAP (Aligning Simulation and Real-World Physics) est un framework de transfert sim-to-real développé à Carnegie Mellon University en collaboration avec NVIDIA, accepté à RSS 2025. Il permet au robot humanoïde Unitree G1 d'exécuter des compétences dynamiques de tout le corps — notamment des coups de pied, des sauts, des mouvements de danse et des récupérations athlétiques — qui se transfèrent directement de la simulation au matériel réel avec une fidélité remarquable.

L'innovation centrale est le delta action model, un résidu appris qui capture explicitement l'écart physique entre la simulation et le monde réel. Plutôt que d'essayer de faire correspondre parfaitement le simulateur à la réalité, ASAP apprend ce qui diffère et compense. Le pipeline d'entraînement progresse en quatre étapes : pré-entraînement par suivi de mouvement basé sur les phases, entraînement du delta action model, affinage de la politique avec le modèle delta, et déploiement en conditions réelles via l'export ONNX.

ASAP est construit sur HumanoidVerse, un framework d'entraînement multi-simulateurs prenant en charge IsaacGym, IsaacSim et Genesis. Il utilise le recalage du modèle corporel SMPL pour transférer les données de capture de mouvement humain du jeu de données AMASS vers la morphologie du robot, permettant un large répertoire de mouvements agiles. L'ensemble du pipeline d'entraînement s'exécute sur des GPU NVIDIA avec une intégration Weights & Biases pour le suivi des expériences.

Le projet représente l'une des démonstrations les plus impressionnantes de locomotion humanoïde agile transférée depuis la simulation, le robot G1 exécutant des mouvements auparavant considérés comme trop dynamiques pour un transfert sim-to-real fiable.

Pourquoi c'est important

ASAP représente une avancée majeure dans le transfert sim-to-real pour les robots humanoïdes. En apprenant un modèle delta action explicite qui capture l'écart de physique entre la simulation et la réalité, il permet aux robots humanoïdes d'effectuer des mouvements hautement dynamiques et agiles qui étaient auparavant impossibles à transférer de manière fiable depuis la simulation.

Le problème résolu

Combler l'écart dynamique entre la simulation physique et le vrai matériel robotique, qui est le principal goulot d'étranglement empêchant les politiques agiles apprises de fonctionner sur de vrais robots humanoïdes.

Points clés

• Le modèle delta action capture explicitement les différences de physique sim-to-real
• Permet des mouvements humanoïdes hautement agiles incluant des coups de pied, des sauts et des mouvements de danse sur du vrai matériel
• Construit sur HumanoidVerse prenant en charge les simulateurs IsaacGym, IsaacSim et Genesis
• Utilise le reciblage de mouvement basé sur SMPL depuis la capture de mouvement humain vers n'importe quel robot humanoïde

Pour qui

• Chercheurs en robotique humanoïde
• Chercheurs en transfert sim-to-real
• Praticiens de l'apprentissage par renforcement
• Ingénieurs en contrôle du mouvement

Limites

• Principalement démontré sur Unitree G1
• Nécessite un GPU NVIDIA avec support IsaacGym
• Dépend du dataset de capture de mouvement AMASS pour l'entraînement
• Le déploiement dans le monde réel nécessite l'intégration ROS 2 et Unitree SDK