gym-pybullet-drones

단일 및 멀티 에이전트 드론 강화학습을 위한 PyBullet Gymnasium 환경

라이선스

MIT

개요

gym-pybullet-drones는 학습 기반 쿼드로터 제어를 위한 표준 오픈 시뮬레이션 스위트입니다: PyBullet 물리 엔진 위에 구축된 Gymnasium(구 OpenAI Gym) 환경으로, 지면 효과, 항력, 다운워시를 포함한 사실적인 동역학으로 Crazyflie 2.x 쿼드로터를 모델링합니다. 단일 에이전트와 멀티 에이전트 RL을 기본 지원하고 stable-baselines3와 통합되며, 토론토 대학교 Dynamic Systems Lab / Vector Institute에서 시작되었습니다.

이 스위트는 PyBullet 기반 쿼드로터 동역학을 깔끔한 Gymnasium API로 감쌉니다: BaseAviary 환경은 한 대 또는 여러 대의 드론에 대해 RPM, PID, 속도 수준의 제어를 노출하며, 관측 공간은 기구학적 상태와 선택적인 온보드 카메라 비전을 포함합니다. 물리는 장난감 수준의 모델을 넘어섭니다 — 프로펠러 수준의 추력과 토크, 공기역학적 항력, 지면 효과, 드론 간 다운워시가 시뮬레이션되고, 파라미터는 Bitcraze Crazyflie 2.x의 시스템 식별에서 도출됩니다. 레퍼런스 워크플로우는 stable-baselines3의 PPO로 호버링, 궤적 추종, 멀티 에이전트 과제를 학습시키며, 저장소에는 에셋, 로깅·플로팅 유틸리티, 실제 Crazyflie로의 sim-to-real 전이 예제가 포함되어 있습니다. IROS 2021에 발표된 이후 드론 RL 논문과 수업의 기본 벤치마크 환경이 되었고, 수백 개의 파생 연구 프로젝트가 있습니다.

중요한 이유

gym-pybullet-drones는 항공 로봇 강화학습의 레퍼런스 환경 스위트입니다: 실제 Crazyflie로 sim-to-real 작업을 할 만큼 물리적으로 신뢰할 수 있으면서 노트북에서 학습시킬 만큼 가볍고, 상당수 드론 RL 논문이 그 위에 구축하거나 비교 대상으로 삼는 벤치마크입니다.

해결하는 문제

드론 RL 연구에는 빠르면서도 쿼드로터 공기역학에 물리적으로 정직하고 표준 RL API로 감싸진 시뮬레이션이 필요합니다. gym-pybullet-drones는 이 세 가지를 하나로 패키징하여, 예전에는 모든 항공 학습 프로젝트에 앞서 필요했던 커스텀 시뮬레이터 엔지니어링을 없애 줍니다.

핵심 요점

• PyBullet 물리 기반 쿼드로터용 Gymnasium 환경, 단일 및 멀티 에이전트 지원
• Crazyflie 2.x 시스템 식별 파라미터로 지면 효과, 항력, 다운워시를 모델링
• RPM, PID, 속도 제어 모드; 온보드 카메라의 선택적 비전 관측
• stable-baselines3와 즉시 호환; IROS 2021에 발표된 벤치마크
• 실제 Bitcraze Crazyflie로의 sim-to-real 전이 실험 지원

대상

• 연속 제어를 연구하는 RL 연구자
• 항공 로보틱스 학생과 교육자
• 멀티 에이전트 시스템 연구자
• 비행 시험 전에 드론 컨트롤러를 프로토타이핑하는 엔지니어

한계

• Crazyflie급 마이크로 쿼드로터에 초점 — 더 큰 기체는 파라미터 재식별이 필요
• PyBullet 공기역학은 CFD급 시뮬레이션에 비해 단순화됨
• 무거운 비전 기반 학습을 위한 포토리얼리스틱 렌더링은 없음(카메라 정책에는 주의해서 사용)