PACE Sim2Real

Transferência sim-to-real sistemática por meio da identificação da dinâmica dos atuadores

Licença

Apache-2.0

Visão geral

PACE (Precise Adaptation through Continuous Evolution) é um framework sistemático do Robotic Systems Lab da ETH Zurique para identificar a dinâmica de atuadores e juntas e melhorar a transferência sim-to-real de robôs com pernas. Usando apenas encoders de juntas padrão, o PACE identifica a dinâmica do motor, o atrito, o amortecimento e a complacência das juntas, os parâmetros que mais causam a lacuna com a realidade. A abordagem independe do hardware, foi validada em várias plataformas quadrúpedes e reduz bastante a perda de desempenho na passagem da simulação para o mundo real.

O PACE (Precise Adaptation through Continuous Evolution) é um framework do Robotic Systems Lab da ETH Zurich que ataca a lacuna sim-to-real em robôs com pernas. Ele oferece uma abordagem sistemática para identificar parâmetros da dinâmica de atuadores e juntas usando apenas encoders de junta padrão e, em seguida, usa esses parâmetros para criar simulações mais fiéis.

O método central combina identificação de sistemas baseada em dados com otimização evolutiva CMA-ES. Gravando trajetórias de movimento simples no hardware real, o PACE aprende parâmetros com significado físico, como atrito, amortecimento e características de resposta dos atuadores. Esses parâmetros são então aplicados aos ambientes de simulação no NVIDIA Isaac Lab, resultando em uma transferência de políticas drasticamente melhor.

O PACE foi validado em plataformas quadrúpedes reais, incluindo o ANYmal, demonstrando melhorias mensuráveis no desempenho de locomoção ao transferir políticas treinadas com RL da simulação para o hardware. O framework foi projetado para ser independente de plataforma, suportando várias configurações de robôs e tipos de atuadores.

Por que importa

O PACE ataca um dos maiores gargalos na implantação de políticas de locomoção aprendidas: a lacuna entre a simulação e o hardware físico. Ao oferecer um método sistemático e baseado em dados para identificar a dinâmica dos atuadores usando apenas encoders de junta padrão, ele torna acessível a transferência sim-to-real de alta fidelidade sem configurações caras de sensores.

Problema que resolve

Políticas de aprendizado por reforço treinadas em simulação muitas vezes falham em robôs reais porque os simuladores modelam mal a dinâmica dos atuadores, o atrito e o comportamento das juntas. O PACE resolve isso aprendendo parâmetros dinâmicos com significado físico a partir de dados do hardware real e aplicando-os de volta à simulação, o que melhora drasticamente a fidelidade da transferência.

Pontos principais

• Usa otimização evolutiva CMA-ES para identificar parâmetros da dinâmica de atuadores e juntas
• Exige apenas encoders de junta padrão — nenhum sensor adicional é necessário
• Integra-se diretamente ao NVIDIA Isaac Lab para fluxos sim-to-real sem atrito
• Suporta várias plataformas de robôs e tipos de atuadores prontos para uso
• Desenvolvido e validado pelo Robotic Systems Lab da ETH Zurich em quadrúpedes reais

Para quem é

• Pesquisadores de robótica com pernas que trabalham com locomoção e transferência sim-to-real
• Praticantes de RL que implantam políticas aprendidas da simulação em robôs físicos
• Engenheiros de robótica que precisam de modelos precisos de atuadores para fidelidade de simulação
• Usuários do NVIDIA Isaac Lab que querem melhorar seu pipeline sim-to-real

Limitações

• Exige o NVIDIA Isaac Lab (e o Isaac Sim 5.0+) para a funcionalidade completa
• Atualmente focado em robôs com pernas — a aplicabilidade a outros tipos de robôs não foi testada
• Os requisitos de GPU do Isaac Sim podem limitar o acesso em hardware de consumo
• A identificação de parâmetros exige coletar antes dados de movimento do hardware real