Asymmetric Actor-Critic

Aussi appelé: asymmetric critic, privileged critic
Catégorie: Learning & autonomy › RL & simulation
Mots-clés: reinforcement-learning, sim-to-real, privileged-information, actor-critic, robot-learning

Configuration d'apprentissage par renforcement acteur-critique dans laquelle le critique est entraîné sur l'état privilégié du simulateur tandis que l'acteur n'utilise que les observations dont disposera le robot réel.

Définition

Acteur-critique asymétrique (asymmetric actor-critic) : manière d'entraîner une politique avec un algorithme d'apprentissage par renforcement acteur-critique lorsque l'environnement d'entraînement en sait davantage que le robot déployé. L'acteur, qui devient la politique déployée, ne reçoit que des observations réalistes comme des images de caméra, des codeurs articulaires ou des estimations bruitées de la pose des objets. Le critique, qui estime la valeur des états et n'existe que pour réduire la variance du gradient de politique pendant l'entraînement, reçoit des informations privilégiées supplémentaires : poses et vitesses exactes des objets, forces de contact, coefficients de frottement et autres éléments de l'état du simulateur. Pinto et ses collègues ont introduit le terme en 2018 pour l'apprentissage robotique à partir d'images, où l'acteur voyait des images et le critique l'état complet.

L'idée fonctionne parce que le critique est jeté après l'entraînement. Rien de ce qu'il consomme n'a besoin d'être mesuré sur le robot réel, si bien qu'on peut lui donner tout ce qui rend l'estimation de la valeur la plus facile. Un critique disposant de l'état complet apprend plus vite et plus précisément qu'un critique qui doit inférer des grandeurs cachées à partir d'observations partielles, ce qui donne à l'acteur de meilleurs signaux d'apprentissage. L'approche s'accorde naturellement avec des méthodes on-policy comme PPO, utilisé pour la réorientation en main dans Isaac Gym, et avec des méthodes off-policy comme DDPG ou SAC.

L'acteur-critique asymétrique diffère de l'entraînement enseignant-élève (teacher-student training). Dans l'entraînement enseignant-élève, une politique enseignante distincte est d'abord entraînée avec des entrées privilégiées, puis distillée en un élève qui ne voit que des observations réelles. Dans l'acteur-critique asymétrique, il n'y a qu'une politique, entraînée directement par apprentissage par renforcement sur des entrées réalistes ; seule la fonction de valeur est privilégiée. Les deux sont souvent combinés. Une subtilité : en observabilité partielle, un critique conditionné uniquement sur l'état vrai peut donner des estimations de valeur biaisées pour une politique qui agit à partir de l'historique des observations, c'est pourquoi de nombreuses implémentations fournissent au critique à la fois l'état privilégié et les observations de l'acteur.

Pourquoi c'est important

L'apprentissage par renforcement sim-to-real exige des politiques qui fonctionnent sur des capteurs réels, mais apprendre à partir d'observations partielles et bruitées est lent et instable. Donner au critique l'état privilégié du simulateur est une modification peu coûteuse des algorithmes standard qui rend souvent l'entraînement bien plus rapide et plus fiable, sans rien ajouter que le robot déployé doive mesurer.

Applications principales

Réorientation d'objets en main avec des mains robotiques dextres
Politiques de manipulation à partir d'images entraînées en simulation
Politiques de locomotion à pattes entraînées avec des informations privilégiées sur le terrain et les contacts
Apprentissage par renforcement sim-to-real avec des simulateurs parallélisés sur GPU
Tâches de commande partiellement observables où le simulateur expose un état caché

En pratique

Une équipe entraîne une main à plusieurs doigts à réorienter des objets dans un simulateur sur GPU avec PPO. Le réseau acteur reçoit les positions du bout des doigts, les angles articulaires et une estimation de la pose de l'objet à laquelle on ajoute du bruit et de la latence, conformément à ce que fournira un suivi de pose par caméra sur le matériel. Le réseau critique reçoit les mêmes entrées, plus la pose exacte de l'objet, ses vitesses linéaire et angulaire, l'orientation cible et les valeurs de frottement et de masse randomisées pour cet environnement. Les deux réseaux partagent les mêmes déroulements (rollouts) et sont mis à jour ensemble. Au déploiement, seuls les poids de l'acteur sont exportés vers l'ordinateur du robot ; le critique et les entrées propres au simulateur ne sont plus jamais nécessaires.

Idées reçues

La politique déployée utilise l'état privilégié — seul le critique le voit pendant l'entraînement, et le critique est écarté au déploiement
C'est la même chose que l'entraînement enseignant-élève — l'enseignant-élève entraîne une politique privilégiée puis la distille, tandis que l'acteur-critique asymétrique entraîne directement une seule politique réaliste avec une fonction de valeur privilégiée
Un critique qui ne voit que l'état est toujours correct — en observabilité partielle, il peut biaiser l'estimation de la valeur pour un acteur fondé sur les observations, c'est pourquoi on donne souvent aussi au critique les observations de l'acteur

Qui devrait le savoir

Ingénieurs en apprentissage par renforcement travaillant sur le transfert sim-to-real
Chercheurs en manipulation dextre
Développeurs de locomotion à pattes qui entraînent des politiques en simulation
Ingénieurs de simulation qui conçoivent les espaces d'observation pour l'entraînement

Technologies associées

Proximal Policy Optimization
Isaac Gym
Apprentissage privilégié (Privileged Learning)
Randomisation de domaine (Domain Randomization)
Soft Actor-Critic

Termes associés

Projets associés

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim