gym-pybullet-drones

用于单智能体和多智能体无人机强化学习的 PyBullet Gymnasium 环境

许可证

MIT

概述

gym-pybullet-drones 是基于学习的四旋翼控制领域的标准开源仿真套件:构建在 PyBullet 物理引擎上的 Gymnasium(前 OpenAI Gym)环境,对 Crazyflie 2.x 四旋翼进行建模,包含地面效应、气动阻力和下洗流等真实动力学。它开箱即支持单智能体和多智能体强化学习,与 stable-baselines3 集成,源自多伦多大学动态系统实验室(Dynamic Systems Lab)/ Vector Institute。

该套件将基于 PyBullet 的四旋翼动力学封装为简洁的 Gymnasium API:BaseAviary 环境提供对一架或多架无人机的转速(RPM)、PID 或速度级控制,观测空间涵盖运动学状态和可选的机载相机视觉。其物理建模超越了玩具模型——仿真了螺旋桨级推力与扭矩、气动阻力、地面效应和机间下洗流,参数来自对 Bitcraze Crazyflie 2.x 的系统辨识。参考工作流用 stable-baselines3 PPO 训练悬停、轨迹跟踪和多智能体任务,仓库还包含素材、日志和绘图工具,以及向真实 Crazyflie 进行仿真到现实迁移的示例。该项目发表于 IROS 2021,已成为无人机强化学习论文和课程的默认基准环境,衍生出数百个研究项目。

为何重要

gym-pybullet-drones 是空中机器人强化学习的参考环境套件:物理可信度足以支撑在真实 Crazyflie 上的仿真到现实工作,又足够轻量可在笔记本电脑上训练,是大量无人机强化学习论文构建或对比的基准。

解决的问题

无人机强化学习研究需要同时满足三点的仿真:速度快、对四旋翼空气动力学足够真实、封装成标准 RL API。gym-pybullet-drones 将三者打包,免去了以往每个空中学习项目开工前都要自建仿真器的工程负担。

要点

• 基于 PyBullet 物理的四旋翼 Gymnasium 环境,支持单智能体和多智能体
• 以 Crazyflie 2.x 系统辨识参数建模地面效应、阻力和下洗流
• 支持 RPM、PID 和速度控制模式;可选机载相机视觉观测
• 开箱即用兼容 stable-baselines3;IROS 2021 发表的基准
• 支持向真实 Bitcraze Crazyflie 的仿真到现实迁移实验

适用人群

• 研究连续控制的强化学习研究人员
• 空中机器人专业学生与教育工作者
• 多智能体系统研究人员
• 在实飞测试前进行无人机控制器原型开发的工程师

局限

• 专注于 Crazyflie 级微型四旋翼——更大机型需要重新做系统辨识
• PyBullet 空气动力学相比 CFD 级仿真有所简化
• 无照片级真实感渲染,不适合重度视觉学习(相机策略需谨慎使用)