Actor-Critic

• Aussi appelé: actor-critic methods, actor-critic algorithm
• Catégorie: Learning & autonomy › RL & simulation
• Mots-clés: reinforcement-learning, policy-gradient, value-function, deep-learning, robot-learning

Famille de méthodes d'apprentissage par renforcement qui entraînent deux parties ensemble : un acteur, la politique qui choisit les actions, et un critique, une fonction de valeur apprise qui sert à évaluer et à améliorer ces actions.

Définition

Les méthodes acteur-critique (actor-critic) forment une famille d'algorithmes d'apprentissage par renforcement qui combinent l'apprentissage d'une politique et l'apprentissage d'une valeur. L'acteur est la politique, une fonction qui associe à l'état ou à l'observation courante une action ou une distribution sur les actions. Le critique est une estimation apprise de la qualité des états ou des actions : une fonction de valeur d'état V(s), une fonction de valeur d'action Q(s, a), ou une fonction d'avantage qui mesure à quel point une action est meilleure que la moyenne de la politique. Le critique est entraîné à partir de l'expérience, généralement par apprentissage par différence temporelle, et l'acteur est mis à jour dans la direction qui, selon le critique, augmentera le retour attendu.

L'idée remonte aux travaux de Barto, Sutton et Anderson de 1983 sur l'apprentissage de l'équilibre d'un pendule, et Konda et Tsitsiklis ont donné vers 2000 une analyse formelle des algorithmes acteur-critique et de leur convergence. La motivation est la réduction de la variance. Les méthodes de gradient de politique pures comme REINFORCE pondèrent chaque action par le retour total observé, qui est très bruité ; remplacer ce retour par l'estimation d'un critique, ou soustraire une ligne de base apprise pour former un avantage, donne des mises à jour de variance bien plus faible, au prix d'un certain biais dû aux erreurs du critique. Des techniques comme la Generalized Advantage Estimation permettent à l'utilisateur de régler ce compromis biais-variance.

La plupart de l'apprentissage par renforcement profond utilisé en robotique est de type acteur-critique. Les variantes on-policy comme A2C et Proximal Policy Optimization (PPO) entraînent un acteur stochastique avec une ligne de base de valeur apprise et sont très utilisées pour la locomotion en simulation massivement parallèle. Les variantes off-policy comme DDPG, TD3 et Soft Actor-Critic (SAC) apprennent une fonction Q à partir d'un tampon de rejeu (replay buffer) et mettent à jour l'acteur en suivant le gradient du critique, ce qui utilise les données plus efficacement et convient à l'entraînement sur du matériel réel. Comme le critique n'est nécessaire que pendant l'entraînement, il peut utiliser des informations que l'acteur déployé ne voit jamais ; c'est le fondement de l'entraînement acteur-critique asymétrique.

Pourquoi c'est important

La structure acteur-critique est ce qui rend l'apprentissage par renforcement profond assez stable pour la commande de robots. Savoir quelle partie fait quoi explique la plupart des choix de réglage pratiques, des poids de la perte de valeur et de la normalisation des avantages jusqu'à la raison pour laquelle on peut donner au critique un état privilégié du simulateur, et c'est le vocabulaire commun derrière PPO, SAC et leurs variantes.

Applications principales

• Politiques de locomotion à pattes entraînées en simulation avec PPO
• Apprentissage économe en échantillons sur de vrais bras robotisés avec SAC ou TD3
• Manipulation dextre dans la main avec des critiques à information privilégiée
• Politiques de commande pour drones et quadrirotors
• Commande de caméra et de point de vue apprise à partir de signaux de récompense
• Ajustement fin de politiques pré-entraînées par apprentissage par imitation

En pratique

Une équipe entraîne une politique de marche pour quadrupède avec PPO dans un simulateur sur GPU qui exécute des milliers d'environnements en parallèle. L'acteur est un petit perceptron multicouche qui reçoit des observations proprioceptives et produit la moyenne d'une gaussienne sur les consignes de position articulaire. Le critique est un réseau distinct qui reçoit les mêmes observations plus des termes privilégiés tels que la vitesse réelle de la base, les hauteurs du terrain et le frottement, et prédit le retour actualisé attendu. Après chaque déroulement (rollout), la Generalized Advantage Estimation combine les prédictions du critique avec les récompenses observées, l'acteur est mis à jour avec l'objectif PPO écrêté, et le critique est régressé vers les retours calculés. Les ingénieurs surveillent la variance expliquée du critique : si elle reste faible, les avantages sont surtout du bruit et l'acteur cesse de progresser. Seul l'acteur est exporté vers l'ordinateur embarqué du robot.

Idées reçues

• Le critique fait partie du contrôleur déployé — seul l'acteur tourne sur le robot ; le critique existe pour l'entraîner
• Les valeurs du critique mesurent exactement la réussite de la tâche — ce sont des approximations apprises qui peuvent être biaisées, et la surestimation de la fonction Q est un échec connu que TD3 et SAC contrent avec des critiques jumeaux
• PPO n'est pas une méthode acteur-critique — les implémentations standard de PPO entraînent une fonction de valeur comme ligne de base des avantages, ce qui en fait des méthodes acteur-critique
• Acteur-critique désigne un seul algorithme — c'est une famille qui comprend des méthodes on-policy et off-policy, stochastiques et déterministes

Qui devrait le savoir

• Praticiens de l'apprentissage par renforcement travaillant sur des robots physiques
• Ingénieurs en locomotion et en manipulation utilisant des contrôleurs appris
• Chercheurs en apprentissage robotique qui conçoivent des chaînes d'entraînement
• Étudiants qui passent de la commande classique à la commande apprise

Technologies associées

• A2C et A3C
• DDPG
• TD3
• Generalized Advantage Estimation
• Stable-Baselines3
• Isaac Lab

Termes associés

• Reinforcement Learning
• Proximal Policy Optimization
• Soft Actor-Critic
• Asymmetric Actor-Critic
• Markov Decision Process (MDP)

Projets associés

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• MuJoCo: DeepMind physics engine for robotics and ML research
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Vidéos

• Actor Critic Algorithms: Siraj Raval
• Everything You Need To Master Actor Critic Methods | Tensorflow 2 Tutorial: Machine Learning with Phil