Task-Oriented Grasping

También llamado: TOG, task-aware grasping
Categoría: Planning & manipulation › Manipulation
Etiquetas: grasping, manipulation, affordances, tool-use, semantic-grasping

Elegir un agarre según lo que el robot hará a continuación con el objeto, como sujetar un cuchillo por el mango para cortar, y no solo según la estabilidad del agarre.

Definición

La mayoría de los planificadores de agarre se hacen una sola pregunta: ¿sujetará este agarre el objeto? El agarre orientado a la tarea (task-oriented grasping) añade una segunda: ¿permitirá este agarre que el robot lleve a cabo la tarea prevista? Una taza sujeta por el borde puede estar bien sujeta, pero impide verter; un destornillador sujeto por la caña no se puede girar. Por eso la selección de agarres orientada a la tarea combina la estabilidad del agarre con las restricciones de la tarea: qué parte del objeto se puede tocar, qué direcciones de aproximación dejan libre la parte funcional y qué fuerzas y pares debe resistir el agarre mientras se realiza la tarea.

Los enfoques han cambiado con el tiempo. Los primeros trabajos analíticos describían la tarea mediante el conjunto de llaves de fuerzas que aplicaría al objeto y preferían los agarres capaces de resistir ese conjunto, como en las medidas de calidad de agarre orientadas a la tarea de Li y Sastry para manos multidedo. Trabajos posteriores codificaron las partes de los objetos y sus affordances, etiquetando regiones como mango, hoja o pico, y aprendieron qué partes convienen a qué tareas a partir de conjuntos de datos de objetos anotados con agarres específicos de la tarea, como TaskGrasp. Los métodos zero-shot recientes generan muchos agarres candidatos estables con un generador de agarres general y luego los ordenan usando lenguaje: LERF-TOGO, por ejemplo, usa un campo de radiancia con lenguaje incrustado para encontrar la parte del objeto nombrada en una consulta y se queda con los agarres sobre esa parte.

El agarre orientado a la tarea está estrechamente ligado a la detección de affordances, pero no es lo mismo. Un mapa de affordances indica en qué lugar de un objeto podría tener lugar una acción; el agarre orientado a la tarea es la decisión de qué agarre concreto ejecutar, dados la pinza, el alcance del robot y el movimiento que sigue. La tarea también puede implicar a otra persona: en una entrega, el robot suele agarrar de modo que el mango quede libre y orientado hacia quien lo recibe.

Por qué importa

Los robots que usan objetos, y no solo los mueven, fracasan si toman un objeto de la manera equivocada y luego tienen que volver a agarrarlo o rendirse. Elegir el agarre teniendo en cuenta la tarea también afecta a la seguridad, por ejemplo al entregar herramientas afiladas a personas.

Aplicaciones clave

Uso de herramientas como martillos, destornilladores y espátulas
Manipulación doméstica y en la cocina
Entrega segura de objetos a personas
Verter y manipular recipientes
Ensamblaje en el que un extremo de una pieza debe quedar libre para la inserción

En la práctica

A un asistente de cocina se le pide que pase un cuchillo a una persona. La percepción segmenta el cuchillo y un generador de agarres propone muchos agarres de mordazas paralelas a lo largo de él. Un paso a nivel de partes, usando un segmentador de partes entrenado o una consulta en lenguaje a un modelo de visión-lenguaje, separa la hoja del mango. Para la entrega, el robot se queda con los agarres que dejan el mango libre y orientado hacia la persona; si se le pide cortar, se queda en cambio con los agarres sobre el mango. Los candidatos restantes se comprueban en cuanto a alcanzabilidad y a si el brazo puede ejecutar el movimiento siguiente sin llegar a los límites articulares.

Ideas erróneas comunes

Un agarre estable es un buen agarre — la estabilidad es necesaria pero no suficiente; el agarre también debe dejar el objeto utilizable para la tarea
Cada objeto tiene un único agarre correcto — el agarre adecuado depende de la tarea; el mismo cuchillo se sujeta de forma distinta para cortar y para entregarlo
El agarre orientado a la tarea necesita datos de entrenamiento específicos de la tarea para cada objeto — los métodos zero-shot recientes ordenan candidatos de agarre genéricos usando modelos de lenguaje y de visión-lenguaje, aunque los conjuntos de datos dedicados siguen ayudando con las distinciones finas entre partes

Quién debería saberlo

Investigadores en manipulación que trabajan en el uso de herramientas
Ingenieros de planificación de agarres
Investigadores en interacción humano-robot que estudian las entregas de objetos
Desarrolladores de robots de servicio

Tecnologías relacionadas

Métricas de calidad de agarre (Grasp Quality Metrics)
Segmentación de partes (Part Segmentation)
Modelos de visión-lenguaje (Vision-Language Models)
Language Embedded Radiance Fields (LERF)
Conjunto de datos TaskGrasp (TaskGrasp Dataset)
Detección de poses de agarre (Grasp Pose Detection)

Términos relacionados

Proyectos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments