Extreme Parkour with Legged Robots

Sistema de RL para parkour de robôs com pernas treinado em menos de 20 horas

Licença

BSD-3-Clause

Visão geral

Sistema de aprendizado por reforço que permite a robôs com pernas executar manobras de parkour, incluindo escalar obstáculos, saltar sobre vãos e se deslocar por terrenos desafiadores. Treinado em menos de 20 horas com o simulador Isaac Gym.

Esta pesquisa inovadora do ICRA 2024 demonstra como robôs com pernas podem aprender habilidades complexas de parkour por meio de aprendizado por reforço em tempos de treinamento notavelmente curtos. O sistema usa um pipeline de treinamento em duas etapas: treinamento da política base (8-10 horas) seguido do treinamento da política de destilação. Construído sobre o Isaac Gym com PyTorch, o framework permite que os robôs executem manobras ininterruptas de escalada, salto e pulo que antes se acreditava exigirem extensa engenharia manual. A abordagem combina o ambiente legged_gym com a biblioteca de aprendizado por reforço rsl_rl, oferecendo suporte tanto à visualização no simulador quanto à visualização via web para sistemas headless. Os modelos podem ser exportados como versões JIT-traced para implantação em dispositivos de borda, o que torna a tecnologia prática para aplicações no mundo real.

Por que importa

O Extreme Parkour demonstrou que o aprendizado por reforço pode ensinar robôs com pernas a executar manobras ágeis que rivalizam com as de animais treinados. O sistema aprendeu a escalar, saltar e rastejar por obstáculos em menos de 20 horas de treinamento — um avanço na agilidade de robôs com pernas.

Problema que resolve

Robôs com pernas costumam se limitar a caminhar em terreno plano. Este projeto mostra que o RL pode descobrir comportamentos de locomoção ágeis que permitem aos robôs atravessar obstáculos extremos, aproximando-nos de robôs capazes de se deslocar em qualquer terreno.

Pontos principais

• Robôs com pernas fazendo parkour: escalando, saltando e rastejando por obstáculos
• Treinado inteiramente em simulação com aprendizado por reforço
• Menos de 20 horas de treinamento para realizar manobras extremas
• Transferido com sucesso zero-shot para robôs Unitree reais
• Nenhuma marcha pré-programada — todos os comportamentos aprendidos de ponta a ponta

Para quem é

• Pesquisadores de locomoção com pernas
• Equipes desenvolvendo controladores ágeis para quadrúpedes
• Pesquisadores de RL estudando controle motor complexo
• Empresas construindo robôs para uso em terrenos acidentados

Limitações

• Exige uma configuração de simulação específica para o treinamento
• Transferência para o mundo real limitada a hardware específico de robôs Unitree
• Manobras extremas podem causar desgaste ou danos ao hardware
• A abordagem atual é específica para a tarefa, e não de uso geral