Perceptive pedipulation with local obstacle avoidance

Autores: Jonas Stolle, Philip Arm, Mayank Mittal, Marco Hutter · Humanoids 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Política de RL de ponta a ponta para o ANYmal que rastreia um comando de posição do pé enquanto desvia de obstáculos com o corpo inteiro, usando uma varredura de alturas 2,5D e uma chave que permite contato deliberado do pé.

Por que importa

A interface de controle continua sendo um único comando de posição do pé, de modo que um operador humano ou um planejador de alto nível pode usá-la perto de obstáculos sem planejar um movimento livre de colisões para o corpo inteiro. Ela dá a um quadrúpede habilidades de manipulação sem um braço dedicado, que, segundo os autores, acrescenta massa e complexidade e reduz a capacidade de carga útil.

Problema

Políticas de pedipulação anteriores rastreiam um comando de posição do pé usando apenas propriocepção, por isso não conseguem desviar de obstáculos e colidem com qualquer coisa no caminho. Colocar um planejador ciente de obstáculos acima de uma política cega ainda deixa o restante do corpo livre para colidir, e as grandes margens de segurança necessárias para evitar isso impedem o trabalho em espaços confinados.

Solução proposta

Uma única política de RL, treinada no NVIDIA Isaac Lab, recebe a propriocepção, uma varredura de alturas de 2,4 m × 1,6 m com resolução de 0,1 m e um comando de posição do pé, e gera deslocamentos de posição das juntas. O treinamento ocorre em três etapas: pedipulação sem obstáculos com um currículo no espaço de comandos, depois obstáculos cuboides móveis em cinco cenários com penalidades tanto para eventos quanto para forças de contato, e depois ruído adicionado ao mapa de elevação para a transferência sim-to-real. Uma chave de contato booleana decide se o contato com o pé dianteiro direito é penalizado, de modo que a mesma política pode desviar de um obstáculo ou empurrá-lo.

Principais ideias

Penalizar tanto os eventos de contato quanto a magnitude das forças de contato bloqueia dois atalhos: empurrar um obstáculo com força mínima e afastá-lo com um empurrão curto de grande força.
Cinco cenários de treinamento estáticos com cuboides bastaram para que a política desviasse de formas não vistas e de obstáculos em movimento; os autores inferem que ela trata cada célula ocupada da varredura de alturas como uma coluna de espaço a evitar, em vez de reconhecer a forma dos objetos.
Obstáculos móveis, em vez de obstáculos de terreno estático, custam tempo de treinamento, mas permitem que a política aprenda a empurrar objetos quando a chave de contato permite.
Treinar primeiro a pedipulação sem obstáculos e adicionar os obstáculos depois acelera o treinamento.
A política rastreia pontos, não trajetórias, então alcançar algo atrás das costas pode deixá-la em uma pose ruim para seguir o restante de um percurso.

Principais resultados

Rastreamento em espaço livre sobre 1024 comandos amostrados: erro médio de 0,057 m com a chave de contato em 0 (desviar) e de 0,047 m com ela em 1 (contato permitido).
Alcançar contornando um canto em simulação: a política cega anterior bateu no canto e caiu; a política perceptiva fez um percurso mais longo e evitou colisões.
Testes em simulação com um único obstáculo: nenhuma autocolisão ou colisão com o ambiente nos quatro testes; com um obstáculo mais baixo, o pé passou por cima dele em vez de contorná-lo.
Quatro obstáculos: com um vão de 1,3 m, a política parou de girar a base e alcançou atrás das costas, com algumas colisões de baixa força na parte traseira da base; percursos de comando no sentido horário degradaram o rastreamento.
No hardware do ANYmal, o pé contornou uma caixa de papelão enquanto o comando a atravessava (repetido cinco vezes), e contornou uma lixeira metálica redonda não vista no treinamento.
Chave de contato no hardware: com a chave em 1, o robô derrubou o obstáculo empurrando-o para alcançar o comando, terminando com erro de rastreamento de 0,073 m.

Limitações

Os autores afirmam que o controlador lida mal com alguns casos extremos, incluindo obstáculos diretamente sob a base e espaços confinados não vistos no treinamento.
A varredura de alturas 2,5D só representa estruturas que cabem em um mapa 2,5D e são maiores que o passo da grade; os autores defendem uma representação 3D.
Obstáculos dinâmicos laterais só foram evitados no lado direito do robô, e a velocidade de reação é limitada pela taxa de atualização do mapa de elevação.
Em simulação, a política às vezes ficava presa por causa do seu campo de visão perceptivo limitado ou da falta de espaço para girar a base.
Evitar o contato com o pé que faz a pedipulação reduz ligeiramente a precisão de rastreamento em espaço livre (0,057 m contra 0,047 m).

Impacto na área

Finalista do Humanoids 2024 Best Interactive Presentation Award, com 12 citações. O artigo não traz links para código, políticas treinadas ou dados.

Resumo

A pedipulação aproveita os pés de robôs com pernas para a manipulação móvel, eliminando a necessidade de braços robóticos dedicados. Embora trabalhos anteriores tenham mostrado habilidades de pedipulação cegas e específicas para cada tarefa, eles não levam em conta obstáculos estáticos e dinâmicos no ambiente. Para superar essa limitação, apresentamos uma abordagem baseada em aprendizado por reforço para treinar uma política de corpo inteiro ciente de obstáculos que rastreia comandos de posição do pé enquanto, ao mesmo tempo, desvia de obstáculos. Apesar de treinar a política em apenas cinco cenários estáticos diferentes em simulação, mostramos que ela generaliza para ambientes desconhecidos com diferentes números e tipos de obstáculos. Analisamos o desempenho do nosso método por meio de um conjunto de experimentos em simulação e implantamos com sucesso a política aprendida no quadrúpede ANYmal, demonstrando sua capacidade de seguir comandos do pé enquanto navega ao redor de obstáculos estáticos e dinâmicos.

Open Source Robotics