Pegasus Simulator

Fotorealistische Multirotor-Simulation auf NVIDIA Isaac Sim mit PX4-in-the-Loop

Lizenz

BSD-3-Clause

Überblick

Pegasus Simulator ist ein Framework auf Basis von NVIDIA Isaac Sim / Omniverse zur Simulation von Multirotor-Fahrzeugen mit fotorealistischem Rendering und akkurater Physik. Entwickelt am ISR-Lissabon (Instituto Superior Técnico) bietet es PX4-Software-in-the-Loop-Integration out of the box — eine simulierte Drohne fliegt mit dem echten Autopilot-Stack und QGroundControl — plus eine Python-API für eigene Regler, Sensoren und RL-artige Experimente.

Pegasus verpackt die PhysX-Physik und das RTX-Rendering von Isaac Sim in eine auf Luftrobotik zugeschnittene API: Fahrzeuge werden mit Rotormodellen (Schubkurven, Widerstand, Rollmomente), Sensorsuiten (IMU, GPS, Barometer, Magnetometer, Kamera) und Kommunikations-Backends definiert. Das Flaggschiff-Backend ist PX4 SITL — Pegasus startet und verbindet pro Fahrzeug den tatsächlichen PX4-Autopiloten, sodass sich Regelungsfirmware, EKF2-Schätzung und QGroundControl-Missionsabläufe exakt wie auf Hardware verhalten und die klassische Sim-to-Real-Lücke auf Autopilot-Ebene geschlossen wird. Ein reines Python-Control-Backend unterstützt eigene Regler und Lernexperimente ohne PX4, und ROS-2-Schnittstellen exponieren den Simulationsgraphen. Multi-Vehicle-Szenarien, USD-basierte fotorealistische Umgebungen und Utilities für Personen und bewegte Hindernisse runden das Forschungs-Featureset ab. Als offenes Framework mit begleitendem Paper veröffentlicht, ist es zur Standardwahl für Labore geworden, die Rendering der Isaac-Klasse für Arbeiten an aerialer Autonomie wollen, wo die Einstellung von AirSim eine Lücke hinterließ.

Warum es wichtig ist

Pegasus besetzt die Lücke, die AirSim für ernsthafte Luftfahrtforschung hinterlassen hat: fotorealistische, GPU-beschleunigte Simulation mit dem ECHTEN PX4-Autopiloten in der Schleife — die Kombination, die Drohnenlabore für wahrnehmungslastige Autonomie- und Sim-to-Real-Arbeit auf moderner Hardware brauchen.

Welches Problem es löst

Forschung an aerialer Autonomie braucht fotorealistische Sensoren UND flugtreues Fahrzeugverhalten. Game-Engine-Simulatoren fehlt die Autopilot-Genauigkeit; Flugdynamik-Simulatoren fehlt das Rendering. Pegasus lässt PX4 selbst gegen Isaac-Sim-Physik und RTX-Rendering laufen und liefert beides zugleich.

Wichtigste Punkte

• Aufgebaut auf NVIDIA Isaac Sim: PhysX-Physik plus fotorealistisches RTX-Rendering
• PX4 Software-in-the-Loop pro Fahrzeug — echter Autopilot, EKF2 und QGroundControl-Abläufe
• Python-API für eigene Rotoren, Sensoren, Regler und Multi-Vehicle-Szenarien
• ROS-2-Schnittstellen und USD-basierte Umgebungen für Perzeptionsforschung
• Vom ISR-Lissabon mit begleitender offener Publikation

Für wen

• Forschende in der Luftrobotik
• PX4-Entwickler, die Autonomie in der Simulation testen
• Perception-Ingenieure, die fotorealistische Drohnenbilder brauchen
• RL-Praktiker für aeriale Regelung

Einschränkungen

• Erfordert eine NVIDIA-GPU der RTX-Klasse und die schwergewichtige Isaac-Sim-Installation
• Multirotor-fokussiert — keine Starrflügler- oder VTOL-Fahrzeugmodelle im Kern
• Folgt den Isaac-Sim-Releases, daher ist Versions-Pinning wichtig