Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

Goal-Conditioned Policy

  • Aussi appelé: goal-conditioned RL, goal-conditioned reinforcement learning, GCRL, goal-conditioned imitation learning
  • Catégorie: Learning & autonomy › RL & simulation
  • Mots-clés: reinforcement-learning, imitation-learning, robot-learning, navigation, multi-task-learning

Politique de commande qui reçoit un but comme entrée supplémentaire en plus de ses observations, de sorte qu'un seul modèle appris peut atteindre de nombreuses cibles différentes au lieu d'être entraîné pour une seule tâche.

Définition

Politiques conditionnées par le but (goal-conditioned policies) : politiques qui choisissent leurs actions à partir à la fois de l'observation courante et d'un but spécifié, ce qui s'écrit π(a | s, g). Une politique standard apprend à faire une seule chose ; une politique conditionnée par le but apprend une famille de comportements indexée par le but. Le même réseau peut conduire un robot vers de nombreux endroits, placer un objet dans de nombreuses poses ou atteindre n'importe quelle image cible qu'on lui fournit.

Les buts peuvent prendre de nombreuses formes : une position ou une pose cible, une configuration articulaire désirée, une image de ce à quoi la scène doit ressembler, ou une instruction en langage naturel. En navigation, les buts sous forme d'image sont courants : on montre au robot la photo d'un lieu qu'il doit atteindre. En manipulation, les buts sont souvent des poses cibles d'objets ou des images de l'agencement souhaité.

En apprentissage par renforcement, le conditionnement par le but est formalisé au moyen de fonctions de valeur conditionnées par le but, comme les approximateurs universels de fonction de valeur (universal value function approximators), qui estiment dans quelle mesure le robot peut atteindre chaque but depuis chaque état. Une difficulté pratique est que les récompenses pour l'atteinte d'un but précis sont rares. Le rejeu d'expérience a posteriori (hindsight experience replay) y remédie en réétiquetant une tentative échouée comme un succès pour le but effectivement atteint, ce qui transforme chaque trajectoire en données d'entraînement utiles.

Le conditionnement par le but est aussi central dans l'apprentissage par imitation à partir de grands jeux de données. Les démonstrations ou les données de jeu (play) enregistrées peuvent être réétiquetées avec des buts tirés de la suite de la même trajectoire, de sorte qu'un seul jeu de données apprend à la politique à atteindre de nombreux résultats. Les politiques conditionnées par le but sont souvent combinées à des planificateurs ou à des cartes qui fournissent une suite de buts intermédiaires, ce qui permet à une politique à court horizon d'accomplir des tâches à long horizon.

Pourquoi c'est important

Les politiques conditionnées par le but permettent à un seul modèle de servir de nombreuses tâches, ce qui exploite mieux des données robotiques coûteuses et offre aux planificateurs une compétence de bas niveau réutilisable à appeler. Elles constituent une interface courante entre la spécification de tâches de haut niveau et la commande apprise.

Applications principales

  • Navigation vers un but donné par une image ou une position
  • Manipulation multitâche où la pose ou l'agencement de l'objet cible varie
  • Tâches d'atteinte et de poussée entraînées par réétiquetage a posteriori
  • Compétences de bas niveau appelées par des planificateurs dans des systèmes hiérarchiques

En pratique

Une équipe de navigation peut entraîner une politique qui prend l'image courante de la caméra et une image du lieu cible, et qui produit des commandes de vitesse. Les données d'entraînement proviennent de parcours de robot enregistrés, où des images plus tardives d'un même parcours servent de buts pour les images antérieures. Au déploiement, une carte topologique ou un planificateur fournit une suite d'images de sous-buts, et la politique se dirige successivement vers chacune. Les équipes mesurent le succès sur des buts mis de côté plutôt que seulement sur les buts vus pendant l'entraînement.

Idées reçues

  • Une politique conditionnée par le but peut atteindre n'importe quel but — elle ne généralise qu'à des buts semblables à ceux représentés pendant l'entraînement
  • Le conditionnement par le but ne concerne que l'apprentissage par renforcement — il est tout aussi courant en apprentissage par imitation, où les buts sont réétiquetés à partir des données de démonstration
  • Une politique conditionnée par le but remplace la planification — pour les tâches longues, elle a généralement besoin d'un planificateur ou d'une carte qui fournit des sous-buts proches

Qui devrait le savoir

  • Chercheurs en apprentissage robotique travaillant sur l'apprentissage par renforcement et par imitation
  • Ingénieurs en navigation qui utilisent des contrôleurs appris
  • Ingénieurs qui construisent des systèmes hiérarchiques de planification et de commande

Technologies associées

  • Apprentissage par renforcement (Reinforcement Learning)
  • Rejeu d'expérience a posteriori (Hindsight Experience Replay)
  • Approximateurs universels de fonction de valeur (Universal Value Function Approximators)
  • Apprentissage par imitation (Imitation Learning)
  • Diffusion Policy
  • Carte topologique (Topological Map)

Termes associés

  • Imitation Learning
  • Reinforcement Learning
  • Diffusion Policy

Projets associés

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.