Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

Parameterized Action MDP

  • Aussi appelé: PAMDP, parameterized action space MDP
  • Catégorie: Learning & autonomy › RL & simulation
  • Mots-clés: reinforcement-learning, action-spaces, skills, primitives, hybrid-actions

Processus de décision markovien dont les actions associent un choix discret, comme la compétence à utiliser, à des paramètres continus pour ce choix, comme l'endroit ou la manière de l'exécuter.

Définition

Un processus de décision markovien à actions paramétrées (parameterized action Markov decision process, PAMDP) est un MDP dont l'espace d'actions mêle choix discrets et choix continus. Il existe un ensemble fini d'actions discrètes, et chaque action discrète a possède son propre espace de paramètres continus X_a. À chaque étape de décision, l'agent choisit une action discrète et un vecteur de paramètres pour celle-ci, de sorte que l'action est un couple (a, x) avec x dans X_a. Des actions discrètes différentes peuvent avoir des paramètres de dimension et de signification différentes. Masson, Ranchod et Konidaris ont formalisé ce cadre en 2016 et proposé Q-PAMDP, qui alterne entre l'apprentissage de l'action discrète à choisir et l'apprentissage des politiques de paramètres de chaque action.

Cette structure est naturelle pour les robots construits autour de compétences ou de primitives. Un agent de manipulation peut choisir entre atteindre, saisir, pousser et poser, chacune avec des arguments continus comme une position cible, une direction de poussée ou une orientation de saisie, et se rabattre sur des actions atomiques de bas niveau lorsqu'aucune primitive ne convient. Un agent de football choisit entre frapper, sprinter et tourner, chacune avec des paramètres de puissance ou de direction ; c'est le cadre RoboCup utilisé par Hausknecht et Stone en 2016 pour l'apprentissage par renforcement profond avec actions paramétrées. Comme une primitive peut s'exécuter pendant de nombreux cycles de commande, le temps entre deux décisions est variable, ce qui relie les PAMDP aux semi-MDP et au cadre des options, mais dans un PAMDP les primitives sont généralement des contrôleurs fixes conçus à la main plutôt que des options apprises.

L'apprentissage dans un PAMDP exige des méthodes qui respectent la structure hybride. Les approches courantes de RL profond utilisent un réseau qui produit une valeur ou une probabilité pour chaque action discrète ainsi que les paramètres de cette action, comme P-DQN de Xiong et de ses collègues et ses variantes, ou des politiques qui produisent une distribution catégorielle sur les types de primitives et une gaussienne sur les paramètres de chaque type. Discrétiser simplement les paramètres fait perdre de la précision et fait croître rapidement l'espace d'actions, tandis que tout traiter comme un seul grand vecteur continu écarte l'information selon laquelle seuls les paramètres de l'action choisie comptent.

Pourquoi c'est important

L'apprentissage par renforcement avec des commandes articulaires ou d'effecteur terminal de bas niveau peine sur la manipulation à long horizon, car le problème d'exploration est énorme. Permettre à la politique d'appeler des compétences paramétrées raccourcit l'horizon effectif, réutilise le savoir d'ingénierie intégré aux primitives et produit un comportement plus facile à inspecter, et le PAMDP est le cadre formel pour le faire.

Applications principales

  • Apprentissage par renforcement sur des bibliothèques de compétences de manipulation
  • Football robotique et autres jeux à espaces d'actions hybrides
  • Tâches à long horizon combinant primitives de navigation et de manipulation
  • Apprentissage des arguments de primitives de mouvement pour la planification de tâches
  • Décisions de conduite autonome avec manœuvres discrètes et cibles continues

En pratique

Une équipe entraîne un bras robotisé à ouvrir un placard et à y déposer un objet, dans un environnement simulé. Au lieu de produire des vitesses de l'effecteur terminal à 20 Hz, la politique choisit à chaque étape l'une de cinq primitives : atteindre, saisir, pousser, relâcher ou une action atomique de bas niveau. Atteindre prend une cible 3D, saisir une position cible et un angle de lacet, et pousser une position de départ, une direction et une distance. Le réseau de politique produit une distribution catégorielle sur les types de primitives et, pour chaque type, une gaussienne sur ses paramètres, et seuls les paramètres du type choisi influent sur le gradient. Chaque primitive exécute un contrôleur scripté jusqu'à ce qu'elle termine ou dépasse son délai, après quoi la décision suivante est prise. L'épisode ne demande qu'une poignée de décisions, si bien que l'apprentissage réussit là où une politique de bas niveau avait échoué.

Idées reçues

  • Un PAMDP est la même chose que l'apprentissage par renforcement hiérarchique — les primitives d'un PAMDP sont souvent des contrôleurs fixes ; seuls le choix de la primitive et ses paramètres sont appris
  • Il suffit de discrétiser les paramètres — la discrétisation fait perdre de la précision et multiplie le nombre d'actions, surtout lorsque les primitives ont plusieurs paramètres
  • Une action hybride peut être traitée comme un seul grand vecteur continu — cela ignore que seuls les paramètres de l'action choisie comptent et peut rendre l'apprentissage instable
  • Utiliser des primitives rend toujours une tâche plus facile — un ensemble de primitives mal conçu peut rendre la tâche impossible à accomplir, c'est pourquoi de nombreux systèmes gardent des actions de bas niveau disponibles en solution de repli

Qui devrait le savoir

  • Chercheurs en apprentissage robotique travaillant avec des compétences et des primitives
  • Ingénieurs en apprentissage par renforcement qui conçoivent des espaces d'actions
  • Chercheurs en planification de tâches et de mouvements
  • Développeurs d'IA pour les jeux et les systèmes multi-agents

Technologies associées

  • Q-PAMDP
  • P-DQN
  • Cadre des options (Options Framework)
  • Processus de décision semi-markovien (Semi-Markov Decision Process)
  • robosuite

Termes associés

  • Markov Decision Process (MDP)
  • Motion Primitive
  • Reinforcement Learning
  • Task and Motion Planning
  • Dynamic Movement Primitive

Projets associés

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • MuJoCo: DeepMind physics engine for robotics and ML research
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.