gym-pybullet-drones

Ambientes Gymnasium em PyBullet para aprendizado por reforço de drones single-agent e multi-agent

Licença

MIT

Visão geral

O gym-pybullet-drones é a suíte de simulação aberta padrão para controle de quadrirrotores baseado em aprendizado: ambientes Gymnasium (antigo OpenAI Gym) construídos sobre o motor de física PyBullet, modelando quadrirrotores Crazyflie 2.x com dinâmica realista, incluindo efeito solo, arrasto e downwash. Suporta RL single-agent e multi-agent nativamente, integra com stable-baselines3 e originou-se no Dynamic Systems Lab / Vector Institute da Universidade de Toronto.

A suíte encapsula a dinâmica de quadrirrotores baseada em PyBullet em APIs Gymnasium limpas: os ambientes BaseAviary expõem controle em nível de RPM, PID ou velocidade de um ou vários drones, com espaços de observação cobrindo estado cinemático e visão opcional por câmera embarcada. A física vai além de modelos de brinquedo — empuxo e torque em nível de hélice, arrasto aerodinâmico, efeito solo e downwash entre drones são simulados, e os parâmetros derivam de identificação de sistema do Bitcraze Crazyflie 2.x. Os fluxos de referência treinam tarefas de hover, rastreamento de trajetória e multi-agent com PPO do stable-baselines3, e o repositório inclui assets, utilitários de logging e plotagem, além de exemplos de transferência sim-to-real para Crazyflies reais. Publicado no IROS 2021, tornou-se o ambiente de benchmark padrão para artigos e disciplinas de RL com drones, com centenas de projetos de pesquisa derivados.

Por que importa

O gym-pybullet-drones é a suíte de ambientes de referência para aprendizado por reforço em robôs aéreos: fisicamente crível o suficiente para trabalho sim-to-real em Crazyflies reais, leve o suficiente para treinar em um laptop, e o benchmark sobre o qual grande parte das publicações de RL com drones se apoia ou se compara.

Problema que resolve

A pesquisa de RL com drones precisa de simulação que seja ao mesmo tempo rápida, fisicamente honesta quanto à aerodinâmica de quadrirrotores e encapsulada nas APIs padrão de RL. O gym-pybullet-drones empacota os três, eliminando a engenharia de simulador customizado que costumava preceder todo projeto de aprendizado aéreo.

Pontos principais

• Ambientes Gymnasium para quadrirrotores sobre física PyBullet, single-agent e multi-agent
• Modela efeito solo, arrasto e downwash com parâmetros identificados do Crazyflie 2.x
• Modos de controle por RPM, PID e velocidade; observações visuais opcionais de câmeras embarcadas
• Funciona de imediato com stable-baselines3; benchmark publicado no IROS 2021
• Suporta experimentos de transferência sim-to-real para Bitcraze Crazyflies reais

Para quem é

• Pesquisadores de RL trabalhando em controle contínuo
• Estudantes e educadores de robótica aérea
• Pesquisadores de sistemas multiagente
• Engenheiros prototipando controladores de drones antes de testes de voo

Limitações

• Focado em micro-quadrirrotores da classe Crazyflie — fuselagens maiores exigem nova identificação
• A aerodinâmica do PyBullet é simplificada em comparação com simulação de nível CFD
• Sem renderização fotorrealista para aprendizado visual pesado (use com cautela para políticas baseadas em câmera)