Residual Reinforcement Learning

Aussi appelé: residual RL, residual policy learning
Catégorie: Learning & autonomy › RL & simulation
Mots-clés: reinforcement-learning, robot-learning, manipulation, contact-rich-tasks, sim-to-real

L'apprentissage par renforcement d'une correction ajoutée aux actions d'un contrôleur existant ou d'une politique apprise, afin que l'apprentissage parte d'un comportement raisonnable plutôt que de zéro.

Définition

Apprentissage par renforcement résiduel (residual reinforcement learning) : méthode qui sépare l'action d'un robot en deux parties : la sortie d'une politique de base et un résidu appris. La politique de base peut être un contrôleur conçu à la main, un suiveur de trajectoire ou une politique entraînée par apprentissage par imitation. La politique résiduelle observe l'état, souvent avec l'action de base, et produit une correction qui est ajoutée à l'action de base. Seul le résidu est entraîné par apprentissage par renforcement ; la politique de base reste fixe. L'approche a été introduite indépendamment par deux groupes en 2018 et 2019, sous les noms de residual policy learning et de residual reinforcement learning pour la commande de robots.

Partir d'une politique de base qui fonctionne change le problème d'apprentissage de façon utile. Au début de l'entraînement, quand le résidu est proche de zéro, le robot se comporte déjà de manière raisonnable ; l'exploration est donc plus sûre et les récompenses plus faciles à atteindre, ce qui compte pour les tâches à récompense éparse et pour l'entraînement sur du matériel réel. Le résidu n'a à apprendre que ce que la politique de base fait mal, comme les effets de contact, le frottement ou les variations d'objets qu'un contrôleur ne modélise pas. Initialiser le réseau résiduel pour qu'il produise zéro et borner son amplitude sont des moyens courants de garder le comportement initial proche de la politique de base.

La politique de base limite aussi ce qui peut être appris. Si elle est loin d'un bon comportement, un résidu borné peut ne pas suffire à la corriger, et un résidu non borné renonce à l'avantage de sûreté. Des variantes laissent le résidu ajuster des paramètres du contrôleur comme les gains ou les consignes au lieu des actions brutes, ou combinent les résidus avec des politiques apprises à partir d'un petit nombre de démonstrations, de sorte que l'imitation fournit le comportement de base et que l'apprentissage par renforcement l'affine pour la précision ou la robustesse.

Pourquoi c'est important

L'apprentissage par renforcement pur sur des robots réels est lent et peut être dangereux, tandis que les contrôleurs conçus à la main et les politiques par imitation sont souvent presque corrects mais échouent sur les détails du contact. Le RL résiduel combine les deux, ce qui en fait un moyen pratique d'améliorer des contrôleurs existants avec une quantité limitée d'interactions en conditions réelles.

Applications principales

Assemblage riche en contacts comme l'insertion cheville-trou (peg-in-hole)
Affinage par apprentissage par renforcement de politiques apprises par imitation
Correction de contrôleurs fondés sur un modèle pour le frottement et la dynamique non modélisés
Adaptation au matériel réel de contrôleurs entraînés en simulation
Amélioration de la saisie et de la manipulation dans la main à partir d'une référence scriptée

En pratique

Une équipe utilise un contrôleur d'impédance pour insérer une cheville dans un trou ajusté. Le contrôleur atteint le trou de façon fiable mais se coince souvent à cause de petites erreurs de pose et du frottement. L'équipe ajoute une politique résiduelle qui voit la pose de l'effecteur terminal et la mesure du capteur d'effort au poignet et produit un petit décalage de la position cible du contrôleur, écrêté dans une plage étroite. Le résidu part de zéro, de sorte que les premiers épisodes se comportent comme le contrôleur d'origine, et il est entraîné avec un algorithme off-policy comme soft actor-critic à l'aide d'une récompense fondée sur la profondeur d'insertion. Au fil de l'entraînement, il apprend les petits mouvements correctifs qui libèrent une cheville coincée, tandis que le contrôleur de base continue de gérer le mouvement global.

Idées reçues

Le RL résiduel réentraîne le contrôleur de base — la politique de base reste fixe et seule la correction additive est apprise
N'importe quelle politique de base convient — le résidu est généralement borné, donc une mauvaise politique de base limite ce que le système combiné peut atteindre
Le RL résiduel dispense de concevoir une récompense — le résidu a toujours besoin d'une récompense qui capture la tâche ; la politique de base rend seulement l'exploration plus facile et plus sûre

Qui devrait le savoir

Chercheurs en apprentissage robotique
Ingénieurs en manipulation travaillant sur des tâches riches en contacts
Ingénieurs en automatique qui améliorent des contrôleurs existants à l'aide de données
Praticiens du passage de la simulation au réel (sim-to-real)

Technologies associées

Soft Actor-Critic
Twin Delayed DDPG (TD3)
Commande en impédance (Impedance Control)
Clonage comportemental (Behavior Cloning)
Proximal Policy Optimization

Termes associés

Projets associés

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim