ManiSkill

Simulation parallélisée sur GPU pour des compétences de manipulation généralisables

Licence

Apache-2.0

Aperçu

ManiSkill est un benchmark de simulation robotique pour des compétences de manipulation généralisables, construit sur le moteur physique SAPIEN avec parallélisation GPU. Il exécute des milliers d'environnements de simulation simultanément et prend en charge l'apprentissage visuel comme l'apprentissage basé sur l'état, sur un large éventail de robots et de tâches. Il fournit un protocole d'évaluation standardisé pour comparer les algorithmes de manipulation.

ManiSkill est un benchmark de simulation robotique hautes performances qui tire parti de la parallélisation sur GPU pour accélérer considérablement la recherche en apprentissage robotique. Reposant sur le moteur physique SAPIEN avec accélération GPU, le framework permet d'exécuter simultanément des milliers d'environnements de simulation en parallèle, réduisant le temps d'entraînement des algorithmes d'apprentissage par renforcement de plusieurs heures à quelques minutes. Le benchmark comprend un large éventail d'incarnations robotiques et de tâches de manipulation couvrant divers niveaux de difficulté et scénarios de manipulation, avec prise en charge de l'observation visuelle comme de l'apprentissage fondé sur des états privilégiés. L'immense variété de tâches permet une évaluation complète des algorithmes de manipulation sur différents types d'objets, spécifications d'objectifs et interactions physiques. En alliant performances de calcul et diversité des tâches, ManiSkill permet d'itérer rapidement sur les algorithmes d'apprentissage robotique tout en proposant des benchmarks exigeants qui mettent à l'épreuve les capacités de généralisation.

Pourquoi c'est important

ManiSkill repousse les limites des benchmarks de manipulation parallélisés sur GPU. Avec des tâches couvrant 12 domaines distincts et un large éventail d'incarnations robotiques, il permet le type d'évaluation à grande échelle qui révèle si un algorithme de manipulation généralise réellement.

Le problème résolu

La plupart des benchmarks de manipulation comptent moins de 50 tâches, ce qui rend la généralisation difficile à évaluer. ManiSkill propose un large éventail de tâches parallélisées sur GPU pour éprouver la capacité des politiques apprises à gérer de nouveaux objets, poses et scénarios.

Points clés

• Tâches couvrant 12 domaines distincts avec une simulation parallélisée sur GPU
• Prend en charge nativement un large éventail d'incarnations robotiques
• Modes d'observation basés sur l'état et sur la vision
• Repose sur le moteur SAPIEN avec une physique de contact réaliste
• Protocole d'évaluation standardisé pour une comparaison équitable des algorithmes

Pour qui

• Chercheurs qui évaluent des algorithmes de manipulation généralisables
• Équipes qui évaluent l'apprentissage de politiques fondé sur la vision
• Développeurs qui construisent des contrôleurs robotiques multitâches
• Étudiants qui apprennent l'apprentissage par renforcement pour la manipulation

Limites

• Nécessite un GPU NVIDIA pour le mode entièrement parallélisé sur GPU
• Le moteur SAPIEN est moins répandu que MuJoCo, ce qui réduit la compatibilité avec l'écosystème
• La difficulté des tâches varie fortement au sein de la suite de benchmarks
• La documentation peut accuser un retard sur des fonctionnalités qui évoluent rapidement