Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

safe-control-gym

Suíte de benchmark para controle seguro baseado em aprendizado: RL e MPC sob uma mesma API

Licença

MIT

Visão geral

O safe-control-gym, do Dynamic Systems Lab da Universidade de Toronto, é a suíte de benchmark de referência para controle seguro baseado em aprendizado e aprendizado por reforço (RL) seguro. Seus ambientes de cart-pole e quadrirrotores 1D/2D/3D expõem tanto uma API Gymnasium para RL quanto dinâmica simbólica em CasADi para controle baseado em modelo, além de especificação de restrições e injeção de perturbações como recursos de primeira classe — para que métodos de aprendizado (PPO, SAC) e métodos de controle (LQR, MPC, GP-MPC, controladores filtrados por CBF) possam ser comparados em tarefas idênticas com métricas de segurança.

A percepção central da suíte é que as comunidades de RL seguro e de controle baseado em aprendizado publicam em bancadas de teste incompatíveis, tornando as alegações incomparáveis. O safe-control-gym conserta a interface: cada ambiente fornece física PyBullet para simulação realista E um modelo simbólico CasADi de sua dinâmica, custo e restrições, permitindo que métodos da família MPC derivem exatamente o modelo que os métodos de RL precisam aprender. A camada de tarefas padroniza tarefas de estabilização e rastreamento de trajetória com restrições configuráveis de estado/entrada, estados iniciais aleatorizados e perturbações injetáveis (incerteza de parâmetros, ruído de sensores, forças adversariais). As baselines vêm no repositório: controle clássico (LQR, iLQR, PID), controle preditivo (MPC linear, GP-MPC), RL (PPO, SAC, DDPG), controle seguro baseado em aprendizado (variantes de MPC baseado em aprendizado) e certificação de segurança (funções de barreira de controle, filtros de segurança MPSC). Publicado na IEEE RA-L (2022), ele fundamenta uma grande parcela dos artigos subsequentes de aprendizado seguro em robôs e se conecta à pipeline sim-to-real de Crazyflie do laboratório, junto com o gym-pybullet-drones.

Por que importa

O safe-control-gym é onde a comunidade de aprendizado seguro em robôs encontra um metro comum: é a suíte padrão para alegar que um método é 'seguro', porque faz RL e controle baseado em modelo rodarem as mesmas tarefas com as mesmas restrições e os mesmos modelos de perturbação.

Problema que resolve

Artigos de RL seguro e de controle baseado em aprendizado historicamente não podiam ser comparados — simuladores diferentes, definições de restrições diferentes, nenhuma métrica compartilhada. O safe-control-gym fornece uma família de ambientes com interfaces tanto aprendidas quanto simbólicas, restrições padronizadas e métricas de segurança.

Pontos principais

  • Tarefas de cart-pole e quadrirrotores 1D/2D/3D com física PyBullet e dinâmica simbólica CasADi
  • Restrições, perturbações e injeção de incerteza como recursos de primeira classe para avaliação de segurança
  • Baselines no repositório: LQR, MPC, GP-MPC, PPO, SAC, filtros de segurança CBF e MPSC
  • API Gymnasium para RL ao lado de modelos simbólicos exatos para controle baseado em modelo
  • Benchmark IEEE RA-L 2022 do laboratório por trás do gym-pybullet-drones

Para quem é

  • Pesquisadores de RL seguro e de controle baseado em aprendizado
  • Estudantes de pós-graduação avaliando métodos de controle em benchmark
  • Revisores reproduzindo alegações de aprendizado seguro
  • Engenheiros avaliando filtros de segurança antes do hardware

Limitações

  • Sistemas de baixa dimensão (cart-pole, quadrirrotores) — sem tarefas de manipulação ou de robôs com pernas
  • A fidelidade do PyBullet fica abaixo de modelos de quadrirrotor de nível CFD/hardware
  • A atividade de desenvolvimento desacelerou desde a onda de lançamentos de 2022

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.