Semantic keypoint

También llamado: category-level keypoint, object keypoint
Categoría: Sensing › Perception outputs
Etiquetas: manipulation, perception, object-representation, category-level, keypoints

Un punto de un objeto definido de forma coherente en toda una categoría de objetos, como el asa o el centro del fondo de una taza, que un robot detecta en 3D para especificar y planificar la manipulación.

Definición

Un punto clave semántico (semantic keypoint) es un punto de un objeto que tiene el mismo significado en todas las instancias de una categoría: el centro del fondo de una taza, la punta de un destornillador, el extremo de un pasador, la puntera de un zapato. A diferencia de un rasgo genérico de imagen, que se elige porque es fácil de detectar y seguir, un punto clave semántico se elige por lo que significa para una tarea. Un modelo de percepción, normalmente una red neuronal entrenada con imágenes etiquetadas, predice la ubicación de cada punto clave en la imagen, y los datos de profundidad o las vistas múltiples las convierten en posiciones 3D.

En manipulación, los puntos clave semánticos son una alternativa a estimar una pose completa del objeto de 6-DOF. Una pose solo está bien definida respecto a un modelo plantilla fijo, lo que falla cuando las instancias de una categoría difieren en tamaño y forma: dos tazas pueden diferir en altura, anchura y posición del asa, de modo que ninguna transformación rígida única alinea una con la otra. Un pequeño conjunto de puntos clave sigue teniendo sentido en ambas. El enfoque kPAM (Manuelli, Gao, Florence y Tedrake, 2019) lo aprovecha para especificar tareas como costes y restricciones sobre los puntos clave, por ejemplo que el centro del fondo de una taza descanse sobre una estantería con el centro de su parte superior justo encima, y resuelve el movimiento rígido del objeto que las satisface; un agarre lleva después el objeto a lo largo de ese movimiento. kPAM 2.0 extiende el enfoque al control por realimentación en lazo cerrado, lo que permite tareas ricas en contacto como la inserción de pasador en orificio.

La representación es compacta e interpretable, y los costes sobre puntos clave pueden escribirse directamente en un problema de optimización junto con restricciones de colisión y cinemáticas. Sus límites vienen de la misma fuente. Alguien tiene que elegir qué puntos clave necesita una categoría para una tarea dada, y unos pocos puntos dicen poco sobre la geometría completa, por lo que la comprobación de colisiones suele necesitar una nube de puntos o una malla aparte. La oclusión, la simetría, donde varios puntos parecen equivalentes, y los objetos distintos de los de los datos de entrenamiento degradan la detección. Entre las representaciones relacionadas están los descriptores visuales densos, que asignan un rasgo aprendido a cada píxel, y los mapas de coordenadas normalizadas del objeto, que predicen un sistema de coordenadas canónico de la forma para cada píxel.

Por qué importa

Los robots en hogares, laboratorios y almacenes se encuentran con muchas instancias de objetos que comparten una finalidad pero no una forma exacta. Los puntos clave semánticos permiten escribir una sola especificación de tarea para toda una categoría y aun así colocar los objetos con precisión, sin un modelo CAD de cada objeto.

Aplicaciones clave

Pick-and-place a nivel de categoría para objetos con variaciones de forma
Especificación de tareas de colocar, colgar y apilar
Ensamblaje rico en contacto, como la inserción de pasador en orificio
Uso de herramientas, donde los puntos relevantes para la tarea definen cómo se encuentra una herramienta con una pieza de trabajo
Seguimiento de objetos articulados o deformables a través de unos pocos puntos significativos

En la práctica

Un equipo quiere que un robot cuelgue en un soporte cualquiera de unas pocas docenas de tazas diferentes. Anotan tres puntos clave en unos cientos de imágenes de profundidad: el centro del fondo, el centro de la parte superior y un punto dentro del asa. Una red entrenada con estas imágenes predice los puntos clave en tazas nuevas, y sus posiciones 3D se leen de la imagen de profundidad. La tarea se escribe como restricciones: el punto del asa debe acabar en el gancho del soporte, y el eje que va del fondo a la parte superior debe estar próximo a la horizontal. Un optimizador encuentra la transformación rígida de la taza que las satisface, el robot agarra el borde y el movimiento planificado de la taza se convierte en una trayectoria del efector final. La mayoría de los fallos se producen cuando el asa queda oculta a la cámara, así que el equipo hace que el robot mueva la cámara o gire la taza y vuelva a detectar antes de planificar.

Ideas erróneas comunes

Los puntos clave semánticos son lo mismo que los puntos de rasgos de imagen, como las esquinas SIFT u ORB — estos se eligen por ser distintivos y fáciles de seguir, mientras que los puntos clave semánticos se eligen por su significado para la tarea y se corresponden entre instancias
Los puntos clave sustituyen toda la geometría del objeto — solo describen los puntos relevantes para la tarea, por lo que la evitación de colisiones y la selección del agarre siguen necesitando una nube de puntos o una malla
Los puntos clave eliminan la pose del problema — evitan una pose del objeto de 6-DOF basada en plantillas, pero el robot sigue calculando una transformación rígida para el objeto y una pose completa para su pinza

Quién debería saberlo

Ingenieros de manipulación que trabajan con objetos cotidianos variados
Ingenieros de percepción que entrenan detectores de puntos clave
Investigadores de aprendizaje robótico que diseñan representaciones de objetos
Integradores que construyen células flexibles de pick-and-place y de ensamblaje

Tecnologías relacionadas

kPAM
Regresión de mapas de calor de puntos clave (Keypoint Heatmap Regression)
Descriptores densos de objetos (Dense Object Descriptors)
Normalized Object Coordinate Space (NOCS)
Perspective-n-Point

Términos relacionados

Proyectos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
PCL: Industry-standard C++ library for point cloud processing in robotics perception
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation