safe-control-gym

Suite di benchmark per il controllo sicuro basato sull'apprendimento: RL e MPC sotto un'unica API

Licenza

MIT

Panoramica

safe-control-gym, del Dynamic Systems Lab dell'Università di Toronto, è la suite di benchmark di riferimento per il controllo sicuro basato sull'apprendimento e l'apprendimento per rinforzo sicuro. I suoi ambienti cart-pole e quadrirotore 1D/2D/3D espongono sia un'API Gymnasium per l'RL sia dinamiche simboliche CasADi per il controllo basato su modello, oltre a una specifica dei vincoli e un'iniezione di disturbi di prima classe, così i metodi di apprendimento (PPO, SAC) e i metodi di controllo (LQR, MPC, GP-MPC, controller filtrati con CBF) si possono confrontare su compiti identici con metriche di sicurezza.

L'intuizione centrale della suite è che le comunità dell'RL sicuro e del controllo basato sull'apprendimento pubblicano su banchi di prova incompatibili, rendendo i risultati non confrontabili. safe-control-gym fissa l'interfaccia: ogni ambiente fornisce la fisica PyBullet per una simulazione realistica E un modello simbolico CasADi della propria dinamica, dei costi e dei vincoli, permettendo ai metodi della famiglia MPC di derivare esattamente il modello che i metodi RL devono apprendere. Il livello dei compiti standardizza compiti di stabilizzazione e di inseguimento della traiettoria con vincoli configurabili su stato e ingressi, stati iniziali casuali e disturbi iniettabili (incertezza dei parametri, rumore dei sensori, forze avversarie). I baseline sono inclusi nel repository: controllo classico (LQR, iLQR, PID), controllo predittivo (MPC lineare, GP-MPC), RL (PPO, SAC, DDPG), controllo sicuro basato sull'apprendimento (varianti di MPC basato sull'apprendimento) e certificazione della sicurezza (funzioni barriera di controllo, filtri di sicurezza MPSC). Pubblicata su IEEE RA-L (2022), è alla base di una larga parte dei successivi articoli sull'apprendimento robotico sicuro e si collega alla pipeline sim-to-real con Crazyflie del laboratorio, accanto a gym-pybullet-drones.

Perché è importante

safe-control-gym è il punto in cui la comunità dell'apprendimento robotico sicuro trova un metro comune: è la suite standard per affermare che un metodo è 'sicuro', perché fa eseguire all'RL e al controllo basato su modello gli stessi compiti con gli stessi vincoli e gli stessi modelli di disturbo.

Il problema che risolve

Gli articoli sull'RL sicuro e quelli sul controllo basato sull'apprendimento non erano storicamente confrontabili: simulatori diversi, definizioni diverse dei vincoli, nessuna metrica condivisa. safe-control-gym fornisce un'unica famiglia di ambienti con interfacce sia apprese sia simboliche, vincoli standard e metriche di sicurezza.

Punti chiave

• Compiti cart-pole e quadrirotore 1D/2D/3D con fisica PyBullet e dinamiche simboliche CasADi
• Vincoli, disturbi e iniezione di incertezza di prima classe per la valutazione della sicurezza
• Baseline nel repository: LQR, MPC, GP-MPC, PPO, SAC, filtri di sicurezza CBF e MPSC
• API Gymnasium per l'RL accanto a modelli simbolici esatti per il controllo basato su modello
• Benchmark IEEE RA-L 2022 del laboratorio che ha creato gym-pybullet-drones

A chi si rivolge

• Ricercatori di RL sicuro e controllo basato sull'apprendimento
• Dottorandi che confrontano metodi di controllo
• Revisori che riproducono risultati sull'apprendimento sicuro
• Ingegneri che valutano filtri di sicurezza prima di passare all'hardware

Limiti

• Sistemi a bassa dimensionalità (cart-pole, quadrirotori): nessun compito di manipolazione o con gambe
• La fedeltà di PyBullet è inferiore a quella dei modelli di quadrirotore di livello CFD o hardware
• L'attività di sviluppo è rallentata dopo l'ondata di rilasci del 2022