6-DoF Grasp Pose

• Também chamado: 6-DoF grasp
• Categoria: Planning & manipulation › Manipulation
• Tags: grasping, pose-estimation, point-clouds, manipulation, grasp-detection

A posição 3D e a orientação 3D completas de uma garra nas quais ela deve se fechar sobre um objeto, em oposição a preensões planares ou de cima para baixo, com menos parâmetros livres.

Definição

Uma pose de preensão 6-DoF (6-DoF grasp pose) especifica onde uma garra deve estar quando se fecha sobre um objeto: três graus de liberdade para a posição e três para a orientação, que juntos formam um elemento de SE(3). Ela costuma ser expressa como a pose de um referencial da garra, muitas vezes no centro entre as pontas dos dedos, em relação à câmera, à base do robô ou ao objeto. Para uma garra de mandíbulas paralelas, a descrição costuma ser ampliada com a abertura, e para mãos com vários dedos, com os ângulos das juntas dos dedos, mas é a parte de 6 DoF que permite à garra se aproximar de qualquer direção.

O termo é usado principalmente em contraste com representações de preensão de menor dimensão. As primeiras abordagens de preensão baseadas em aprendizado previam preensões planares, como retângulos orientados em uma imagem, que equivalem a uma aproximação de cima para baixo com uma posição, uma profundidade e uma rotação em torno do eixo vertical, cerca de quatro graus de liberdade. Elas bastam para objetos deitados em um contêiner visto de cima, mas não conseguem pegar uma caneca pelo lado, uma garrafa deitada em uma prateleira ou um objeto segurado por uma pessoa. Os métodos 6-DoF buscam no espaço completo de direções de aproximação, o que os torna mais gerais, mas também mais difíceis: o espaço é maior, muitas poses candidatas colidem com o objeto ou com a cena, e o resultado precisa ser alcançável pelo braço.

Pipelines 6-DoF típicos partem de uma nuvem de pontos parcial. Métodos baseados em amostragem, como o Grasp Pose Detection, propõem muitas poses de garra usando heurísticas geométricas como o contato antipodal e depois as pontuam com um classificador aprendido. Métodos generativos, como o 6-DOF GraspNet, amostram poses de preensão de uma distribuição aprendida e as refinam com um avaliador aprendido, enquanto o Contact-GraspNet prevê preensões ancoradas em pontos de superfície observados de uma cena completa. Cada candidata é então verificada quanto a colisões, resolvida com cinemática inversa e executada com uma pose de pré-preensão um pouco recuada ao longo do eixo de aproximação, uma aproximação em linha reta, o fechamento e o levantamento. As convenções de referencial importam: as bibliotecas diferem quanto a qual eixo da garra é a direção de aproximação e onde fica a origem do referencial, e uma preensão de mandíbulas paralelas girada 180 graus em torno do seu eixo de aproximação é fisicamente a mesma preensão, o que afeta tanto as funções de perda de treinamento quanto a avaliação.

Por que importa

A maioria dos objetos reais não está deitada em um contêiner. Prateleiras, mesas, ambientes desordenados e objetos segurados por pessoas exigem aproximações por direções diferentes da vertical de cima para baixo, e as poses de preensão 6-DoF são a representação que torna essas preensões possíveis. Elas também são a interface comum entre detectores de preensão e planejadores de movimento.

Principais aplicações

• Pegar objetos de prateleiras, mesas e cenas desordenadas
• Entregas de humano para robô de objetos segurados na mão de uma pessoa
• Manipulação móvel em casas e armazéns
• Pegar objetos nunca vistos a partir de nuvens de pontos parciais
• Gerar conjuntos de dados de preensão em simulação para aprendizado

Na prática

Um robô de cozinha precisa pegar uma caneca em pé com a alça voltada para o lado oposto. Uma câmera de profundidade fornece uma nuvem de pontos parcial da caneca, e uma rede de preensão retorna algumas centenas de candidatas de preensão 6-DoF com pontuações. O software transforma as candidatas para o referencial da base do robô, descarta as que colidem com a mesa ou com a cena e executa a cinemática inversa no restante, mantendo as que são alcançáveis sem se aproximar de um limite de junta. Para a melhor preensão, que se fecha sobre a borda pelo lado, o planejador vai até uma pose de pré-preensão 10 centímetros recuada ao longo do eixo de aproximação da garra, aproxima-se em linha reta, fecha a garra e levanta. Um erro inicial foi atribuído ao fato de a biblioteca de preensão e a garra do robô usarem eixos de aproximação diferentes, e foi corrigido com uma rotação fixa entre as duas convenções de referencial.

Equívocos comuns

• Uma pose de preensão 6-DoF basta para executar uma preensão — ela ainda precisa passar nas verificações de colisão, ter uma solução de cinemática inversa e ser alcançada por uma aproximação de pré-preensão sensata
• Preensões de cima para baixo bastam para a maioria das tarefas — funcionam para objetos deitados em contêineres abertos, mas prateleiras, alças voltadas para o lado e objetos segurados por pessoas precisam de direções de aproximação que uma preensão de cima para baixo não oferece
• Todas as bibliotecas de preensão usam o mesmo referencial da garra — o eixo de aproximação e a origem do referencial diferem entre ferramentas, e misturar convenções produz preensões erradas sem nenhum aviso
• 'GraspNet' designa um único método — o 6-DOF GraspNet e o conjunto de dados e baseline GraspNet-1Billion são trabalhos separados de grupos diferentes

Quem deve saber

• Engenheiros de manipulação e preensão
• Engenheiros de percepção que constroem sistemas de pick-and-place
• Pesquisadores de aprendizado robótico que trabalham com detecção de preensão
• Desenvolvedores de manipulação móvel

Tecnologias relacionadas

• 6-DOF GraspNet
• Contact-GraspNet
• Grasp Pose Detection (GPD)
• MoveIt
• Open3D

Termos relacionados

• Grasp Planning
• Antipodal Grasp
• Grasp Quality Metric
• SE(3)
• Point Cloud
• 6D rotation representation

Projetos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments