gym-pybullet-drones
Entornos Gymnasium sobre PyBullet para aprendizaje por refuerzo con drones, de agente único y multi-agente
Licencia
MIT
Resumen
gym-pybullet-drones es la suite de simulación abierta estándar para el control de cuadricópteros basado en aprendizaje: entornos Gymnasium (anteriormente OpenAI Gym) construidos sobre el motor de física PyBullet, que modelan cuadricópteros Crazyflie 2.x con dinámica realista que incluye efecto suelo, resistencia aerodinámica y downwash. Soporta RL de agente único y multi-agente de serie, se integra con stable-baselines3 y se originó en el Dynamic Systems Lab / Vector Institute de la Universidad de Toronto.
La suite envuelve la dinámica de cuadricópteros basada en PyBullet en APIs Gymnasium limpias: los entornos BaseAviary exponen control a nivel de RPM, PID o velocidad de uno o varios drones, con espacios de observación que cubren el estado cinemático y visión opcional desde cámaras a bordo. La física va más allá de los modelos de juguete: se simulan el empuje y el par a nivel de hélice, la resistencia aerodinámica, el efecto suelo y el downwash entre drones, y los parámetros derivan de la identificación de sistemas del Bitcraze Crazyflie 2.x. Los flujos de trabajo de referencia entrenan tareas de hover, seguimiento de trayectorias y multi-agente con PPO de stable-baselines3, y el repositorio incluye assets, utilidades de registro y graficado, además de ejemplos de transferencia sim-to-real a Crazyflies reales. Publicado en IROS 2021, se ha convertido en el entorno de benchmark por defecto para artículos y cursos de RL con drones, con cientos de proyectos de investigación derivados.
Por qué importa
gym-pybullet-drones es la suite de entornos de referencia para el aprendizaje por refuerzo en robots aéreos: con física lo bastante creíble para trabajo sim-to-real en Crazyflies reales, lo bastante ligera para entrenar en un portátil, y el benchmark sobre el que se construye o contra el que se compara una gran parte de las publicaciones de RL con drones.
Qué problema resuelve
La investigación de RL con drones necesita una simulación que sea a la vez rápida, físicamente honesta con la aerodinámica de los cuadricópteros y envuelta en las APIs estándar de RL. gym-pybullet-drones empaqueta las tres cosas, eliminando la ingeniería de simuladores a medida que antes precedía a todo proyecto de aprendizaje aéreo.
Puntos clave
- Entornos Gymnasium para cuadricópteros con física PyBullet, de agente único y multi-agente
- Modela efecto suelo, resistencia aerodinámica y downwash con parámetros identificados del Crazyflie 2.x
- Modos de control por RPM, PID y velocidad; observaciones de visión opcionales desde cámaras a bordo
- Funciona de serie con stable-baselines3; benchmark publicado en IROS 2021
- Soporta experimentos de transferencia sim-to-real a Bitcraze Crazyflies reales
Para quién es
- Investigadores de RL que trabajan en control continuo
- Estudiantes y educadores de robótica aérea
- Investigadores de sistemas multi-agente
- Ingenieros que prototipan controladores de drones antes de las pruebas de vuelo
Limitaciones
- Centrado en micro-cuadricópteros de clase Crazyflie: los fuselajes más grandes requieren una nueva identificación
- La aerodinámica de PyBullet está simplificada frente a una simulación de nivel CFD
- Sin renderizado fotorrealista para aprendizaje intensivo basado en visión (usar con precaución para políticas con cámara)