Loco-Manipulation

Também chamado: loco manipulation, locomanipulation, whole-body loco-manipulation, legged mobile manipulation
Categoria: Control › Locomotion control
Tags: humanoid, legged-robots, whole-body-control, manipulation, locomotion, mobile-manipulation

O uso coordenado das capacidades de locomoção e de manipulação de um robô, em que mover o corpo e manusear objetos são planejados e controlados em conjunto, e não como etapas separadas.

Definição

Locomanipulação (loco-manipulation) refere-se a tarefas em que um robô precisa mover o corpo pelo ambiente e interagir fisicamente com objetos ao mesmo tempo, ou em uma sequência fortemente acoplada. Exemplos incluem um humanoide carregando uma caixa rampa acima, um quadrúpede com um braço abrindo uma porta e passando por ela, ou um robô com pernas empurrando um carrinho. O termo une locomoção e manipulação para enfatizar que as duas não podem ser tratadas de forma independente quando a base do robô é móvel e seus contatos com o mundo mudam o tempo todo.

A manipulação móvel clássica costuma desacoplar o problema: levar a base até um local, parar e depois usar o braço. A locomanipulação, por sua vez, trata o corpo inteiro como um único sistema. As forças aplicadas pelas mãos ou pelo efetuador final afetam o equilíbrio, o posicionamento dos pés e o movimento da base, e o movimento da base, por sua vez, muda o que os braços conseguem alcançar. Um humanoide que levanta um objeto pesado precisa deslocar seu centro de massa; um quadrúpede que aperta um botão com uma perna dianteira perde essa perna como apoio.

As abordagens se dividem em duas grandes famílias. Métodos baseados em modelo usam controle de corpo inteiro e otimização, como controle preditivo baseado em modelo sobre sequências de contato e dinâmica centroidal, resolvendo em conjunto as tarefas dos pés, das mãos e do tronco sob limites de atrito e de torque. Métodos baseados em aprendizado treinam políticas com aprendizado por reforço em simulação ou aprendem a partir de dados de movimento humano, muitas vezes fazendo o retargeting de demonstrações humanas para o corpo do robô. Sistemas híbridos combinam uma política de locomoção aprendida com planejadores ou controladores baseados em modelo para os objetivos de manipulação.

As principais dificuldades incluem planejar sequências de contatos que envolvem tanto o ambiente quanto o objeto manipulado, regular as forças de interação mantendo o equilíbrio e obter dados de treinamento suficientes que capturem interações realistas entre humanos e objetos. As plataformas usadas nesse trabalho incluem robôs humanoides, quadrúpedes equipados com braços e robôs com pernas e rodas.

Por que importa

Muitas tarefas úteis em casas, armazéns e locais de desastre exigem que um robô carregue, empurre, abra ou escale enquanto se move, e não apenas que ande ou apenas que agarre. A locomanipulação é a capacidade que transforma robôs com pernas e robôs humanoides de plataformas móveis em máquinas capazes de fazer trabalho físico em espaços construídos para pessoas.

Principais aplicações

Robôs humanoides carregando, levantando e posicionando objetos enquanto andam
Quadrúpedes com braços abrindo portas, apertando botões e buscando itens
Empurrar e puxar carrinhos, carrinhos de carga e objetos pesados
Subir em móveis, escadas e outros elementos da cena e interagir com eles
Tarefas de inspeção e intervenção em instalações industriais ou locais de desastre

Na prática

Uma equipe que trabalha com um humanoide, ou com um quadrúpede com braço, geralmente parte de um controlador de locomoção confiável e depois acrescenta objetivos de manipulação a ele, seja como tarefas extras em um controlador de corpo inteiro, seja como comandos e recompensas adicionais para uma política aprendida. Em simulação, a equipe randomiza a massa dos objetos, o atrito e as posições de contato para que a política aprenda a se manter em equilíbrio sob cargas inesperadas. Dados de captura de movimento humano ou de teleoperação costumam passar por retargeting para o robô, fornecendo movimentos de referência para interações como pegar caixas ou sentar em móveis. No hardware, os engenheiros testam com diferentes pesos de carga útil e monitoram os torques nas juntas e os estados de contato dos pés para ver onde o controlador faz o compromisso entre equilíbrio e desempenho na tarefa.

Equívocos comuns

Locomanipulação é só uma base móvel com um braço parafusado — a característica que a define é que o movimento do corpo e as forças de interação são acoplados e precisam ser controlados em conjunto
Bons controladores de locomoção e de manipulação podem simplesmente ser combinados — as forças da manipulação perturbam o equilíbrio e exigem controle de corpo inteiro coordenado ou treinamento conjunto
Só se aplica a humanoides — quadrúpedes com braços, robôs com pernas e rodas e robôs que manipulam com as pernas são todos estudados sob o mesmo termo

Quem deve saber

Pesquisadores de robótica humanoide e de robôs com pernas
Engenheiros de controle que trabalham com controle de corpo inteiro
Equipes de aprendizado de robôs que treinam políticas para manipulação móvel
Desenvolvedores que integram braços em plataformas quadrúpedes

Tecnologias relacionadas

Controle de corpo inteiro (Whole-Body Control)
Controle preditivo baseado em modelo (Model Predictive Control)
Aprendizado por reforço (Reinforcement Learning)
Retargeting de movimento (Motion Retargeting)
Dinâmica centroidal (Centroidal Dynamics)
Otimização com contato implícito (Contact-Implicit Optimization)

Termos relacionados

Projetos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Open Duck Mini V2: An open-source mini duck robot you 3D-print and build, inspired by Disney's BDX droid
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation