gym-pybullet-drones
用於單代理人與多代理人無人機強化學習的 PyBullet Gymnasium 環境
授權條款
MIT
概述
gym-pybullet-drones 是以學習為基礎之四旋翼控制的標準開放模擬套件：建構在 PyBullet 物理引擎上的 Gymnasium（前身為 OpenAI Gym）環境，以擬真的動力學模擬 Crazyflie 2.x 四旋翼，包括地面效應、阻力與下洗氣流。它開箱即支援單代理人與多代理人強化學習，與 stable-baselines3 整合，起源於 University of Toronto 的 Dynamic Systems Lab／Vector Institute。
這個套件以簡潔的 Gymnasium API 包裝以 PyBullet 為基礎的四旋翼動力學：BaseAviary 環境可對一台或多台無人機進行 RPM 級、PID 級或速度級的控制，觀測空間涵蓋運動學狀態，並可選用機載攝影機的視覺。物理模擬不只是玩具模型：會模擬螺旋槳層級的推力與扭矩、空氣阻力、地面效應，以及無人機之間的下洗氣流，參數則來自對 Bitcraze Crazyflie 2.x 的系統鑑別。參考工作流程以 stable-baselines3 的 PPO 訓練懸停、軌跡追蹤與多代理人任務；儲存庫也包含資產、記錄與繪圖工具，以及將策略模擬到現實（sim-to-real）轉移到實體 Crazyflie 上的範例。它發表於 IROS 2021，已成為無人機強化學習論文與課程的預設評測環境，衍生出數百個研究專案。
為何重要
gym-pybullet-drones 是空中機器人強化學習的參考環境套件：物理擬真度足以在實體 Crazyflie 上進行模擬到現實（sim-to-real）研究，又輕到能在筆電上訓練，也是大量無人機強化學習論文據以建構或比較的評測基準。
解決的問題
無人機強化學習研究需要的模擬必須同時具備速度、如實反映四旋翼的空氣動力學，並以標準的強化學習 API 包裝。gym-pybullet-drones 一次提供這三者，免去過去每個空中學習專案開始前都得先做的客製模擬器工程。
重點
- 以 PyBullet 物理為基礎的四旋翼 Gymnasium 環境，支援單代理人與多代理人
- 以 Crazyflie 2.x 系統鑑別所得的參數，模擬地面效應、阻力與下洗氣流
- RPM、PID 與速度控制模式；可選用機載攝影機的視覺觀測
- 開箱即可搭配 stable-baselines3 使用；已發表於 IROS 2021 的評測基準
- 支援在實體 Bitcraze Crazyflie 上進行模擬到現實（sim-to-real）轉移實驗
適用對象
- 研究連續控制的強化學習研究人員
- 空中機器人的學生與教育者
- 多代理人系統研究人員
- 在飛行測試前進行無人機控制器原型開發的工程師
限制
- 聚焦於 Crazyflie 級的微型四旋翼，較大的機體需要重新進行系統鑑別
- 與 CFD 等級的模擬相比，PyBullet 的空氣動力學較為簡化
- 沒有擬真算繪，不適合大量依賴視覺的學習（用於攝影機策略時須謹慎）