Task-Oriented Grasping

Também chamado: TOG, task-aware grasping
Categoria: Planning & manipulation › Manipulation
Tags: grasping, manipulation, affordances, tool-use, semantic-grasping

Escolher uma preensão pelo que o robô fará em seguida com o objeto, como segurar uma faca pelo cabo para cortar, e não apenas pela estabilidade da preensão.

Definição

A maioria dos planejadores de preensão faz uma única pergunta: esta preensão vai segurar o objeto? A preensão orientada à tarefa (task-oriented grasping) acrescenta uma segunda: esta preensão vai permitir que o robô execute a tarefa pretendida? Uma caneca segura pela borda pode estar firme, mas impede de despejar; uma chave de fenda segura pela haste não pode ser girada. Por isso a seleção de preensão orientada à tarefa combina a estabilidade da preensão com as restrições da tarefa: qual parte do objeto pode ser tocada, quais direções de aproximação deixam a parte funcional livre e quais forças e torques a preensão precisa resistir enquanto a tarefa é executada.

As abordagens mudaram ao longo do tempo. Os primeiros trabalhos analíticos descreviam a tarefa pelo conjunto de wrenches que ela aplicaria ao objeto e preferiam preensões capazes de resistir a esse conjunto, como nas medidas de qualidade de preensão orientadas à tarefa de Li e Sastry para mãos com vários dedos. Trabalhos posteriores codificaram as partes dos objetos e suas affordances, rotulando regiões como cabo, lâmina ou bico, e aprenderam quais partes servem para quais tarefas a partir de conjuntos de dados de objetos anotados com preensões específicas por tarefa, como o TaskGrasp. Métodos zero-shot recentes geram muitas preensões candidatas estáveis com um gerador de preensões geral e depois as ordenam usando linguagem: o LERF-TOGO, por exemplo, usa um campo de radiância com linguagem embutida para encontrar a parte do objeto nomeada em uma consulta e mantém as preensões nessa parte.

A preensão orientada à tarefa está intimamente ligada à detecção de affordances, mas não é a mesma coisa. Um mapa de affordances diz em que ponto de um objeto uma ação poderia ocorrer; a preensão orientada à tarefa é a decisão de qual preensão específica executar, dados a garra, o alcance do robô e o movimento que vem em seguida. A tarefa também pode envolver outra pessoa: em uma entrega, o robô geralmente pega o objeto de modo que o cabo fique livre e voltado para quem o recebe.

Por que importa

Robôs que usam objetos, e não apenas os movem, falham se pegam um objeto do jeito errado e depois precisam refazer a preensão ou desistir. Escolher a preensão de acordo com a tarefa também afeta a segurança, por exemplo ao entregar ferramentas afiadas a pessoas.

Principais aplicações

Uso de ferramentas como martelos, chaves de fenda e espátulas
Manipulação doméstica e na cozinha
Entrega segura de objetos a pessoas
Despejar e manipular recipientes
Montagem em que uma extremidade de uma peça precisa ficar livre para a inserção

Na prática

Um assistente de cozinha recebe o pedido de passar uma faca a uma pessoa. A percepção segmenta a faca e um gerador de preensões propõe muitas preensões de garra paralela ao longo dela. Uma etapa no nível das partes, usando um segmentador de partes treinado ou uma consulta em linguagem a um modelo de visão-linguagem, separa a lâmina do cabo. Para a entrega, o robô mantém as preensões que deixam o cabo livre e voltado para a pessoa; se for pedido para cortar, mantém em vez disso as preensões no cabo. Os candidatos restantes são verificados quanto ao alcance e a se o braço consegue executar o movimento seguinte sem atingir os limites das juntas.

Equívocos comuns

Uma preensão estável é uma boa preensão — a estabilidade é necessária, mas não suficiente; a preensão também deve deixar o objeto utilizável para a tarefa
Cada objeto tem uma única preensão correta — a preensão certa depende da tarefa; a mesma faca é segurada de forma diferente para cortar e para entregar
A preensão orientada à tarefa precisa de dados de treinamento específicos da tarefa para cada objeto — métodos zero-shot recentes ordenam candidatos de preensão genéricos usando modelos de linguagem e de visão-linguagem, embora conjuntos de dados dedicados ainda ajudem nas distinções finas entre partes

Quem deve saber

Pesquisadores de manipulação que trabalham com uso de ferramentas
Engenheiros de planejamento de preensão
Pesquisadores de interação humano-robô que estudam entregas de objetos
Desenvolvedores de robôs de serviço

Tecnologias relacionadas

Métricas de qualidade de preensão (Grasp Quality Metrics)
Segmentação de partes (Part Segmentation)
Modelos de visão-linguagem (Vision-Language Models)
Language Embedded Radiance Fields (LERF)
Conjunto de dados TaskGrasp (TaskGrasp Dataset)
Detecção de poses de preensão (Grasp Pose Detection)

Termos relacionados

Projetos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments