Assistive Gym

Framework de simulation physique pour entraîner des robots d'assistance à des tâches de soin

Licence

MIT

Aperçu

Assistive Gym est un framework de simulation basé sur la physique, construit sur PyBullet et OpenAI Gym, pour entraîner des robots à aider les personnes dans des tâches quotidiennes comme manger, boire, se laver et s'habiller. Il associe six tâches d'assistance à six robots commerciaux et intègre les préférences humaines dans ses fonctions de récompense. Il comprend des politiques de référence préentraînées pour l'apprentissage par renforcement.

Assistive Gym est un framework de simulation basé sur la physique, construit sur PyBullet et intégré avec OpenAI Gym, conçu spécifiquement pour la recherche en interaction physique humain-robot et en assistance robotique. Il fournit 72 environnements de simulation prêts à l'emploi combinant six tâches d'assistance (alimentation, boisson, grattage de démangeaisons, toilette au lit, habillage et manipulation du bras) avec six robots commerciaux (PR2, Jaco, Baxter, Sawyer, Stretch et Panda) dans des configurations humaines statiques et actives.

Le framework propose des modèles humains anatomiquement réalistes avec 40 articulations actionnées et des limites articulaires dépendantes de la pose, dérivées de la recherche biomécanique, supportant les configurations corporelles masculines et féminines. Il intègre la modélisation des préférences humaines directement dans les fonctions de récompense, permettant aux robots d'apprendre des stratégies d'assistance qui respectent le confort et l'autonomie de la personne. La version 1.0 a ajouté la manipulation mobile, le contrôle multi-robots, l'intégration d'iGibson pour des environnements domestiques photoréalistes et les modèles de maillage humain SMPL-X pour une représentation corporelle réaliste.

Assistive Gym est entièrement compatible avec les algorithmes standard d'apprentissage par renforcement via l'interface OpenAI Gym, inclut des politiques de base pré-entraînées pour toutes les combinaisons robot-tâche et prend en charge le développement dans le cloud via des notebooks Google Colab. Les chercheurs peuvent créer des environnements d'assistance personnalisés, étendre les tâches existantes et évaluer de nouvelles approches par rapport aux baselines fournies.

Pourquoi c'est important

Alors que les populations vieillissent à l'échelle mondiale, la demande de soins dépasse largement la main-d'œuvre disponible. La robotique d'assistance a le potentiel de combler cette lacune, mais développer des robots qui interagissent physiquement avec les personnes est intrinsèquement risqué. Assistive Gym fournit un environnement de simulation sûr et reproductible où les chercheurs peuvent entraîner et évaluer des politiques de robots d'assistance sans mettre de vraies personnes en danger pendant le processus de développement.

Le framework s'est imposé comme un outil fondamental dans la communauté de recherche en robotique d'assistance, publié à IEEE ICRA 2020 et largement cité. En standardisant la simulation de tâches de soins courantes et en fournissant des résultats de référence pour plusieurs robots commerciaux, il accélère les progrès dans un domaine où l'expérimentation en conditions réelles est coûteuse, lente et contrainte sur le plan éthique. Sa nature open source et le support de Google Colab abaissent la barrière à l'entrée pour les nouveaux chercheurs entrant dans ce domaine crucial.

Le problème résolu

Développer des robots qui assistent physiquement les personnes dans les activités quotidiennes présente un problème fondamental de l'œuf et de la poule : les robots ont besoin d'un entraînement intensif pour interagir en toute sécurité avec les humains, mais l'entraînement sur de vraies personnes pose des risques de sécurité inacceptables. Les expériences d'interaction physique humain-robot sont également coûteuses, chronophages et difficiles à reproduire entre les groupes de recherche.

Assistive Gym résout ce problème en fournissant une simulation physique réaliste où les robots peuvent apprendre par des millions d'interactions essai-erreur sans aucun risque pour les sujets humains. Le framework modélise non seulement la physique du contact, mais aussi les préférences et les capacités physiques humaines, garantissant que les politiques entraînées tiennent compte du confort et de l'autonomie de la personne assistée. Cela permet aux chercheurs du monde entier de développer, tester et comparer des stratégies d'assistance sur des benchmarks standardisés avant tout déploiement en conditions réelles.

Points clés

• Simule six tâches de la vie quotidienne (alimentation, boisson, toilette, habillage, grattage, manipulation du bras) sur six robots commerciaux avec 72 combinaisons d'environnements au total
• Intègre la modélisation des préférences humaines dans les fonctions de récompense pour que les robots apprennent à assister en respectant le confort et l'autonomie
• Propose des modèles humains anatomiquement réalistes avec 40 articulations actionnées et des limites articulaires biomécaniquement précises
• Compatible avec l'apprentissage par renforcement standard via l'interface OpenAI Gym, avec des politiques de base pré-entraînées incluses
• Prend en charge les environnements domestiques photoréalistes via l'intégration d'iGibson et une représentation corporelle réaliste grâce aux maillages humains SMPL-X

Pour qui

• Chercheurs en robotique travaillant sur l'interaction physique humain-robot et les technologies d'assistance
• Praticiens de l'apprentissage par renforcement appliquant le RL à des tâches réelles d'aide à la personne et de manipulation
• Développeurs de technologies de santé prototypant l'assistance robotique pour les soins aux personnes âgées et handicapées
• Étudiants diplômés étudiant la robotique d'assistance, l'ingénierie de réhabilitation ou l'IA incarnée
• Fabricants de robots évaluant des plateformes commerciales pour des applications d'assistance

Limites

• L'écart simulation-réalité signifie que les politiques entraînées dans Assistive Gym peuvent ne pas se transférer directement aux robots physiques sans ajustement supplémentaire
• Les modèles humains utilisent des limites articulaires et des dynamiques corporelles simplifiées qui ne peuvent pas capturer toute la variabilité de vrais patients avec différents handicaps
• Nécessite Python 3.6 ou 3.7 pour une compatibilité optimale, avec un support limité pour les versions plus récentes de Python
• Ne modélise pas les déformations de corps souples pour les tâches comme l'habillage et la toilette où la physique des tissus et de la peau est importante
• La dernière mise à jour significative était la v1.0 et le projet a une activité de développement récente limitée par rapport aux frameworks de simulation plus récents