Category-Level Manipulation

• Categoría: Planning & manipulation › Manipulation
• Etiquetas: manipulation, generalization, pose-estimation, 3d-perception, imitation-learning

Manipulación que generaliza a todas las instancias de una categoría de objetos, como cualquier taza o cualquier cajón, incluidas instancias nunca vistas y sin sus modelos CAD.

Definición

Manipulación a nivel de categoría (category-level manipulation) busca dar a un robot habilidades que funcionen con cualquier miembro de una categoría de objetos y no con un objeto concreto. Un robot que ha aprendido a colgar una taza por el asa debería poder colgar una taza de otra forma, tamaño y color que nunca ha visto, sin que se le dé un modelo 3D de ella. Esto se sitúa entre la manipulación a nivel de instancia, en la que cada objeto tiene un modelo CAD conocido, y la manipulación totalmente general de objetos arbitrarios.

La dificultad central es que las instancias de una categoría difieren en forma, de modo que una pose fija del objeto no significa lo mismo para todas las instancias. Por eso los métodos a nivel de categoría definen una representación compartida y relevante para la tarea en toda la categoría. Algunos ejemplos son la pose a nivel de categoría en un sistema de referencia canónico normalizado, como en NOCS para la estimación de pose 6D y de tamaño; conjuntos de puntos clave semánticos, como el centro del borde y el asa de una taza, como en kPAM; y descriptores densos aprendidos que asignan a los puntos correspondientes de distintas instancias características similares, como en Neural Descriptor Fields. La tarea se escribe entonces en términos de esa representación, por ejemplo como una relación objetivo entre puntos clave o como una pose de la pinza relativa al sistema de referencia canónico, y se transfiere a una instancia nueva estimando en ella la representación.

Un atractivo es la eficiencia de datos: una sola demostración con una instancia puede, en principio, transferirse a todas las demás a través de la representación compartida. El coste es que las categorías deben definirse de antemano, el entrenamiento necesita muchas instancias por categoría, normalmente de conjuntos de datos de formas sintéticas, y el rendimiento empeora con los miembros inusuales cuya geometría o función se aparta del conjunto de entrenamiento.

Por qué importa

Los hogares, almacenes y laboratorios reales contienen muchas variantes del mismo tipo de objeto, y proporcionar un modelo CAD o una demostración nueva para cada una no es práctico. Los métodos a nivel de categoría permiten que una habilidad enseñada una vez se aplique a toda una familia de objetos, lo que es una condición previa para robots que trabajen fuera de entornos industriales fijos.

Aplicaciones clave

• Tareas domésticas con tazas, botellas, cuencos y utensilios
• Apertura de cajones, puertas y otros objetos articulados de diseño variable
• Kitting y pick-and-place de variantes de producto en almacenes
• Transferencia de una sola demostración a nuevas instancias de objetos
• Agarre orientado a la tarea de herramientas por sus partes funcionales

En la práctica

Un equipo quiere que un robot coloque tazas boca arriba en un soporte. Entrenan un estimador de pose y de puntos clave a nivel de categoría con modelos sintéticos de tazas renderizados con texturas aleatorizadas, y graban una demostración: la pose de la pinza relativa al punto clave del asa en el agarre y la pose objetivo del sistema de referencia canónico de la taza relativa a la clavija del soporte. En funcionamiento, una cámara de profundidad segmenta una taza nueva, la red predice su pose canónica y sus puntos clave, el agarre y la colocación almacenados se vuelven a expresar para esta instancia, y un planificador de movimiento genera la trayectoria del brazo. Los fallos se registran en tazas con asas inusuales, que después se añaden como formas adicionales al conjunto de entrenamiento.

Ideas erróneas comunes

• Los métodos a nivel de categoría siguen necesitando un modelo CAD de cada objeto — el objetivo es manejar instancias no vistas usando solo una representación aprendida para toda la categoría
• Cualquier clase amplia de objetos cuenta como categoría — los métodos suelen basarse en una geometría y una función compartidas, como las tazas o los portátiles, y tienen dificultades con clases poco definidas como las herramientas
• El centro y la orientación del objeto bastan para transferir una habilidad — como las formas difieren, las partes relevantes para la tarea, como asas o bordes, suelen necesitar sus propios puntos clave o correspondencias

Quién debería saberlo

• Investigadores de manipulación que trabajan en generalización
• Ingenieros de percepción que construyen estimadores de pose de objetos
• Desarrolladores de robots domésticos y de servicio
• Profesionales del aprendizaje por imitación

Tecnologías relacionadas

• Estimación de pose 6D a nivel de categoría (Category-Level 6D Pose Estimation)
• NOCS
• kPAM
• Neural Descriptor Fields
• Puntos clave semánticos (Semantic Keypoints)
• ShapeNet

Términos relacionados

• Task-Oriented Grasping
• Affordance
• Articulated object
• Imitation Learning
• Point Cloud
• Equivariance

Proyectos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

Vídeos

• Lecture 14 | MIT 6.881 (Robotic Manipulation), Fall 2020 | Category-level Manipulation: underactuated