gym-pybullet-drones

Ambienti Gymnasium su PyBullet per l'apprendimento per rinforzo di droni a singolo agente e multi-agente

Licenza

MIT

Panoramica

gym-pybullet-drones è la suite di simulazione aperta standard per il controllo dei quadricotteri basato sull'apprendimento: ambienti Gymnasium (in precedenza OpenAI Gym) costruiti sul motore fisico PyBullet, che modellano i quadricotteri Crazyflie 2.x con una dinamica realistica che include effetto suolo, resistenza aerodinamica e downwash. Supporta da subito l'RL a singolo agente e multi-agente, si integra con stable-baselines3 ed è nata al Dynamic Systems Lab dell'Università di Toronto / Vector Institute.

La suite avvolge la dinamica dei quadricotteri basata su PyBullet in API Gymnasium pulite: gli ambienti BaseAviary espongono il controllo a livello di RPM, PID o velocità di uno o più droni, con spazi di osservazione che coprono lo stato cinematico e, opzionalmente, la visione da telecamera di bordo. La fisica va oltre i modelli giocattolo: vengono simulati spinta e coppia a livello di elica, resistenza aerodinamica, effetto suolo e downwash tra droni, e i parametri derivano dall'identificazione del sistema del Bitcraze Crazyflie 2.x. I flussi di lavoro di riferimento addestrano compiti di hovering, inseguimento della traiettoria e multi-agente con PPO di stable-baselines3, e il repository include asset, utilità di logging e di grafici, oltre a esempi di trasferimento sim-to-real su Crazyflie reali. Pubblicata a IROS 2021, è diventata l'ambiente di benchmark predefinito per gli articoli e i corsi sull'RL per droni, con centinaia di progetti di ricerca derivati.

Perché è importante

gym-pybullet-drones è la suite di ambienti di riferimento per l'apprendimento per rinforzo dei robot aerei: abbastanza credibile dal punto di vista fisico per il lavoro sim-to-real su Crazyflie reali, abbastanza leggera da addestrare su un portatile, ed è il benchmark su cui si basa o con cui si confronta una grande parte delle pubblicazioni sull'RL per droni.

Il problema che risolve

La ricerca sull'RL per droni ha bisogno di una simulazione che sia al tempo stesso veloce, fisicamente onesta sull'aerodinamica dei quadricotteri e inserita nelle API standard dell'RL. gym-pybullet-drones riunisce tutte e tre le cose, eliminando il lavoro di ingegneria su simulatori personalizzati che prima precedeva ogni progetto di apprendimento aereo.

Punti chiave

• Ambienti Gymnasium per quadricotteri sulla fisica di PyBullet, a singolo agente e multi-agente
• Modella effetto suolo, resistenza aerodinamica e downwash con parametri del Crazyflie 2.x ottenuti per identificazione del sistema
• Modalità di controllo RPM, PID e in velocità; osservazioni visive opzionali dalle telecamere di bordo
• Funziona da subito con stable-baselines3; benchmark pubblicato a IROS 2021
• Supporta esperimenti di trasferimento sim-to-real su Bitcraze Crazyflie reali

A chi si rivolge

• Ricercatori di RL che lavorano sul controllo continuo
• Studenti e docenti di robotica aerea
• Ricercatori di sistemi multi-agente
• Ingegneri che prototipano controller per droni prima dei test di volo

Limiti

• Incentrata sui micro-quadricotteri della classe Crazyflie: telai più grandi richiedono una nuova identificazione
• L'aerodinamica di PyBullet è semplificata rispetto a una simulazione di livello CFD
• Nessun rendering fotorealistico per l'apprendimento basato fortemente sulla visione (da usare con cautela per le policy basate su telecamera)