safe-control-gym
Suíte de benchmark para controle seguro baseado em aprendizado: RL e MPC sob uma mesma API
Licença
MIT
Visão geral
O safe-control-gym, do Dynamic Systems Lab da Universidade de Toronto, é a suíte de benchmark de referência para controle seguro baseado em aprendizado e aprendizado por reforço (RL) seguro. Seus ambientes de cart-pole e quadrirrotores 1D/2D/3D expõem tanto uma API Gymnasium para RL quanto dinâmica simbólica em CasADi para controle baseado em modelo, além de especificação de restrições e injeção de perturbações como recursos de primeira classe — para que métodos de aprendizado (PPO, SAC) e métodos de controle (LQR, MPC, GP-MPC, controladores filtrados por CBF) possam ser comparados em tarefas idênticas com métricas de segurança.
A percepção central da suíte é que as comunidades de RL seguro e de controle baseado em aprendizado publicam em bancadas de teste incompatíveis, tornando as alegações incomparáveis. O safe-control-gym conserta a interface: cada ambiente fornece física PyBullet para simulação realista E um modelo simbólico CasADi de sua dinâmica, custo e restrições, permitindo que métodos da família MPC derivem exatamente o modelo que os métodos de RL precisam aprender. A camada de tarefas padroniza tarefas de estabilização e rastreamento de trajetória com restrições configuráveis de estado/entrada, estados iniciais aleatorizados e perturbações injetáveis (incerteza de parâmetros, ruído de sensores, forças adversariais). As baselines vêm no repositório: controle clássico (LQR, iLQR, PID), controle preditivo (MPC linear, GP-MPC), RL (PPO, SAC, DDPG), controle seguro baseado em aprendizado (variantes de MPC baseado em aprendizado) e certificação de segurança (funções de barreira de controle, filtros de segurança MPSC). Publicado na IEEE RA-L (2022), ele fundamenta uma grande parcela dos artigos subsequentes de aprendizado seguro em robôs e se conecta à pipeline sim-to-real de Crazyflie do laboratório, junto com o gym-pybullet-drones.
Por que importa
O safe-control-gym é onde a comunidade de aprendizado seguro em robôs encontra um metro comum: é a suíte padrão para alegar que um método é 'seguro', porque faz RL e controle baseado em modelo rodarem as mesmas tarefas com as mesmas restrições e os mesmos modelos de perturbação.
Problema que resolve
Artigos de RL seguro e de controle baseado em aprendizado historicamente não podiam ser comparados — simuladores diferentes, definições de restrições diferentes, nenhuma métrica compartilhada. O safe-control-gym fornece uma família de ambientes com interfaces tanto aprendidas quanto simbólicas, restrições padronizadas e métricas de segurança.
Pontos principais
- Tarefas de cart-pole e quadrirrotores 1D/2D/3D com física PyBullet e dinâmica simbólica CasADi
- Restrições, perturbações e injeção de incerteza como recursos de primeira classe para avaliação de segurança
- Baselines no repositório: LQR, MPC, GP-MPC, PPO, SAC, filtros de segurança CBF e MPSC
- API Gymnasium para RL ao lado de modelos simbólicos exatos para controle baseado em modelo
- Benchmark IEEE RA-L 2022 do laboratório por trás do gym-pybullet-drones
Para quem é
- Pesquisadores de RL seguro e de controle baseado em aprendizado
- Estudantes de pós-graduação avaliando métodos de controle em benchmark
- Revisores reproduzindo alegações de aprendizado seguro
- Engenheiros avaliando filtros de segurança antes do hardware
Limitações
- Sistemas de baixa dimensão (cart-pole, quadrirrotores) — sem tarefas de manipulação ou de robôs com pernas
- A fidelidade do PyBullet fica abaixo de modelos de quadrirrotor de nível CFD/hardware
- A atividade de desenvolvimento desacelerou desde a onda de lançamentos de 2022