gym-pybullet-drones

Environnements Gymnasium sur PyBullet pour l'apprentissage par renforcement de drones mono- et multi-agents

Licence

MIT

Aperçu

gym-pybullet-drones est la suite de simulation open source standard pour le contrôle de quadrirotors par apprentissage : des environnements Gymnasium (anciennement OpenAI Gym) construits sur le moteur physique PyBullet, modélisant des quadrirotors Crazyflie 2.x avec une dynamique réaliste incluant l'effet de sol, la traînée et le downwash. Elle prend en charge le RL mono-agent et multi-agents nativement, s'intègre à stable-baselines3, et est née au Dynamic Systems Lab / Vector Institute de l'Université de Toronto.

La suite enveloppe une dynamique de quadrirotor basée sur PyBullet dans des API Gymnasium propres : les environnements BaseAviary exposent un contrôle au niveau RPM, PID ou vitesse d'un ou plusieurs drones, avec des espaces d'observation couvrant l'état cinématique et une vision optionnelle par caméra embarquée. La physique va au-delà des modèles jouets — poussée et couple au niveau de l'hélice, traînée aérodynamique, effet de sol et downwash inter-drones sont simulés, et les paramètres proviennent de l'identification du système du Bitcraze Crazyflie 2.x. Les workflows de référence entraînent des tâches de vol stationnaire, de suivi de trajectoire et multi-agents avec le PPO de stable-baselines3, et le dépôt inclut des assets, des utilitaires de logging et de tracé, ainsi que des exemples de transfert sim-to-real vers de vrais Crazyflies. Publié à IROS 2021, il est devenu l'environnement de benchmark par défaut des articles et des cours sur le RL de drones, avec des centaines de projets de recherche dérivés.

Pourquoi c'est important

gym-pybullet-drones est la suite d'environnements de référence pour l'apprentissage par renforcement des robots aériens : suffisamment crédible physiquement pour le travail sim-to-real sur de vrais Crazyflies, assez légère pour s'entraîner sur un ordinateur portable, et le benchmark sur lequel une grande partie des publications de RL de drones s'appuient ou se comparent.

Le problème résolu

La recherche en RL sur drones a besoin d'une simulation à la fois rapide, physiquement honnête sur l'aérodynamique des quadrirotors, et enveloppée dans les API RL standard. gym-pybullet-drones réunit les trois, éliminant l'ingénierie de simulateur sur mesure qui précédait autrefois chaque projet d'apprentissage aérien.

Points clés

• Environnements Gymnasium pour quadrirotors sur la physique PyBullet, mono- et multi-agents
• Modélise l'effet de sol, la traînée et le downwash avec des paramètres identifiés sur le Crazyflie 2.x
• Modes de contrôle RPM, PID et vitesse ; observations visuelles optionnelles depuis des caméras embarquées
• Fonctionne nativement avec stable-baselines3 ; benchmark publié à IROS 2021
• Prend en charge les expériences de transfert sim-to-real vers de vrais Bitcraze Crazyflies

Pour qui

• Chercheurs en RL travaillant sur le contrôle continu
• Étudiants et enseignants en robotique aérienne
• Chercheurs en systèmes multi-agents
• Ingénieurs prototypant des contrôleurs de drones avant les essais en vol

Limites

• Centré sur les micro-quadrirotors de classe Crazyflie — les cellules plus grandes exigent une ré-identification
• L'aérodynamique de PyBullet est simplifiée par rapport à une simulation de niveau CFD
• Pas de rendu photoréaliste pour l'apprentissage visuel intensif (à utiliser avec prudence pour les politiques par caméra)