Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

Multi-Task Reinforcement Learning

  • Aussi appelé: multi-task RL, MTRL
  • Catégorie: Learning & autonomy › RL & simulation
  • Mots-clés: reinforcement-learning, multi-task, transfer-learning, manipulation, robot-learning

Apprentissage par renforcement qui entraîne une politique, conditionnée par un identifiant ou une description de tâche, à bien exécuter simultanément un ensemble fixe de tâches.

Définition

L'apprentissage par renforcement multitâche (multi-task reinforcement learning) entraîne un seul agent à résoudre plusieurs tâches au lieu d'entraîner un agent distinct pour chacune. La politique est généralement conditionnée par la tâche (task-conditioned) : elle reçoit, en plus de l'état, un identifiant de tâche one-hot, un but, une instruction en langage naturel ou une autre description de la tâche, et l'objectif est le retour espéré moyen sur l'ensemble des tâches. L'espoir est que les tâches partagent une structure, comme la façon de bouger le bras ou de saisir une poignée, de sorte que l'expérience d'une tâche aide les autres et que la politique partagée ait besoin de moins de données que les tâches prises isolément.

En pratique, le partage peut aussi nuire. Les tâches peuvent exiger des comportements contradictoires, leurs récompenses peuvent différer fortement d'échelle, et les mises à jour de gradient d'une tâche peuvent défaire les progrès d'une autre, un problème appelé transfert négatif (negative transfer) ou interférence de gradients. Les remèdes courants consistent à normaliser les retours ou à utiliser des têtes de valeur séparées par tâche, à ajuster les gradients pour que les tâches n'entrent pas en conflit, à faire passer les tâches par des modules de réseau en partie séparés, à équilibrer la fréquence d'échantillonnage de chaque tâche et à distiller des politiques expertes entraînées séparément dans une seule politique élève. L'apprentissage conditionné par le but est un cas particulier où les tâches ne diffèrent que par le but et partagent la même structure de récompense.

Le RL multitâche diffère du méta-apprentissage par renforcement. Le RL multitâche est évalué sur les tâches sur lesquelles il a été entraîné, généralement avec l'identité de la tâche connue ; le meta-RL est évalué sur la rapidité avec laquelle il s'adapte à de nouvelles tâches tirées de la même distribution. Des benchmarks comme Meta-World proposent les deux cadres sur les mêmes tâches de manipulation, ce qui rend la différence concrète. L'entraînement multitâche est aussi une brique de politiques robotiques plus vastes, entraînées sur de nombreuses tâches à partir de données de démonstration, bien que celles-ci soient généralement entraînées par imitation plutôt que par apprentissage par renforcement.

Pourquoi c'est important

Un robot utile a besoin de nombreuses compétences, et entraîner et maintenir une politique par compétence ne passe pas à l'échelle. Le RL multitâche est la voie de l'apprentissage par renforcement vers un contrôleur unique couvrant de nombreux comportements, et comprendre où le partage aide et où il provoque des interférences est essentiel pour concevoir de tels systèmes.

Applications principales

  • Politiques uniques pour de nombreuses compétences de manipulation sur table
  • Contrôleurs robotiques conditionnés par le langage ou par le but
  • Distillation de plusieurs politiques expertes en un seul réseau déployable
  • Politiques de locomotion partagées entre allures, vitesses ou terrains
  • Évaluation du transfert et de l'interférence entre tâches

En pratique

Une équipe veut une seule politique capable d'ouvrir des tiroirs, d'appuyer sur des boutons et de tourner des robinets avec un bras sur table. Elle entraîne en simulation un agent SAC conditionné par la tâche, avec un vecteur de tâche one-hot ajouté à l'observation. Les premiers essais montrent que la politique maîtrise deux tâches et ignore les autres, parce que leurs récompenses sont plus grandes et dominent les mises à jour. L'équipe ajoute une température apprise distincte par tâche, échantillonne les tâches uniformément dans chaque batch et suit le succès par tâche plutôt que la seule moyenne, ce qui fait progresser les tâches faibles sans ralentir les plus fortes.

Idées reçues

  • S'entraîner sur davantage de tâches aide toujours chaque tâche — des tâches contradictoires peuvent interférer, et une politique multitâche peut faire moins bien sur certaines tâches qu'un entraînement monotâche
  • Le RL multitâche produit un agent qui s'adapte à de nouvelles tâches — il est évalué sur ses tâches d'entraînement ; l'adaptation rapide à des tâches inédites est l'objectif du meta-RL
  • Le retour moyen sur les tâches montre à quel point la politique fonctionne bien — une moyenne élevée peut masquer des tâches que la politique n'a pas réussi à apprendre, il faut donc rapporter le succès par tâche

Qui devrait le savoir

  • Chercheurs en apprentissage robotique qui construisent des politiques généralistes
  • Ingénieurs en apprentissage par renforcement qui entraînent sur des suites de tâches
  • Ingénieurs en manipulation qui conçoivent le conditionnement par la tâche
  • Étudiants qui comparent apprentissage multitâche, méta-apprentissage et apprentissage tout au long de la vie

Technologies associées

  • Meta-World
  • Distillation de politiques (Policy Distillation)
  • Gradient Surgery (PCGrad)
  • Soft Actor-Critic
  • Plongements de tâches (Task Embeddings)

Termes associés

  • Meta-Reinforcement Learning
  • Goal-Conditioned Policy
  • Reinforcement Learning
  • Soft Actor-Critic
  • Lifelong Robot Learning
  • Curriculum Learning

Projets associés

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.