Semantic keypoint

• 다른 이름: category-level keypoint, object keypoint
• 카테고리: Sensing › Perception outputs
• 태그: manipulation, perception, object-representation, category-level, keypoints

머그컵의 손잡이나 바닥 중심처럼 물체 범주 전체에 걸쳐 일관되게 정의되는 물체 위의 점. 로봇은 이를 3D로 검출해 조작을 지정하고 계획한다.

정의

의미 키포인트(semantic keypoint)는 한 범주의 모든 인스턴스에서 같은 의미를 가지는 물체 위의 점이다. 머그컵 바닥의 중심, 드라이버의 끝, 페그의 끝, 신발의 앞코가 그 예다. 검출하고 추적하기 쉬워서 선택되는 일반적인 영상 특징과 달리, 의미 키포인트는 작업에 대해 가지는 의미 때문에 선택된다. 보통 레이블된 영상으로 학습한 신경망인 인식 모델이 각 키포인트의 영상 위치를 예측하고, 깊이 데이터나 다중 시점이 이를 3D 위치로 바꾼다.

조작에서 의미 키포인트는 완전한 6-DOF 물체 자세를 추정하는 것의 대안이다. 자세는 고정된 템플릿 모델에 대해서만 잘 정의되는데, 이는 한 범주의 인스턴스들이 크기와 모양에서 다를 때 무너진다. 두 머그컵은 높이, 폭, 손잡이 위치가 다를 수 있으므로 하나를 다른 하나에 맞추는 단일 강체 변환이 없다. 하지만 소수의 키포인트는 둘 모두에서 여전히 의미가 있다. kPAM 접근법(Manuelli, Gao, Florence, Tedrake, 2019)은 이를 이용해 작업을 키포인트에 대한 비용과 제약으로 지정한다. 예를 들어 머그컵의 바닥 중심이 선반 위에 놓이고 윗면 중심이 그 바로 위에 오도록 하는 식이며, 이를 만족하는 물체의 강체 운동을 푼다. 그런 다음 파지가 물체를 그 운동대로 옮긴다. kPAM 2.0은 이 접근법을 폐루프 피드백 제어로 확장하여 펙 인 홀 삽입 같은 접촉이 많은 작업을 가능하게 한다.

이 표현은 간결하고 해석 가능하며, 키포인트 비용은 충돌 제약 및 기구학 제약과 함께 최적화 문제에 바로 쓸 수 있다. 그 한계도 같은 데서 나온다. 주어진 작업에 한 범주가 어떤 키포인트를 필요로 하는지 누군가 골라야 하며, 몇 개의 점은 전체 기하에 대해 거의 말해 주지 않으므로 충돌 검사에는 보통 별도의 점군이나 메시가 필요하다. 가림, 여러 점이 동등해 보이는 대칭, 그리고 학습 데이터와 다른 물체는 모두 검출 성능을 떨어뜨린다. 관련 표현으로는 모든 픽셀에 학습된 특징을 부여하는 조밀 시각 기술자(dense visual descriptor)와, 각 픽셀에 대해 정준 형상 좌표계를 예측하는 정규화 물체 좌표 맵이 있다.

중요한 이유

가정, 실험실, 창고의 로봇은 용도는 같지만 모양이 정확히 같지는 않은 수많은 물체 인스턴스를 만난다. 의미 키포인트를 쓰면 범주 전체에 대해 하나의 작업 명세를 작성하면서도, 물체마다 CAD 모델이 없어도 물체를 정밀하게 놓을 수 있다.

주요 응용

• 모양이 다양한 물체에 대한 카테고리 수준 픽 앤 플레이스
• 놓기, 걸기, 쌓기를 위한 작업 명세
• 펙 인 홀 삽입 같은 접촉이 많은 조립
• 작업과 관련된 점이 공구가 공작물과 만나는 방식을 정하는 공구 사용
• 몇 개의 의미 있는 점을 통한 관절형 물체나 변형 물체의 추적

실제 사례

한 팀이 수십 가지 서로 다른 머그컵 중 무엇이든 로봇이 거치대에 걸게 하려 한다. 팀은 수백 장의 깊이 영상에 바닥 중심, 윗면 중심, 손잡이 안쪽의 한 점이라는 세 개의 키포인트를 표시한다. 이 영상으로 학습한 네트워크가 새 머그컵에서 키포인트를 예측하고, 그 3D 위치는 깊이 영상에서 읽는다. 작업은 제약으로 작성된다. 손잡이 점은 거치대 고리에 놓여야 하고, 바닥에서 윗면으로 향하는 축은 수평에 가까워야 한다. 최적화기가 이를 만족하는 머그컵의 강체 변환을 찾고, 로봇이 테두리를 파지하며, 계획된 머그컵의 운동은 엔드 이펙터 궤적으로 바뀐다. 실패는 대부분 손잡이가 카메라에서 가려질 때 일어나므로, 팀은 계획 전에 로봇이 카메라를 움직이거나 머그컵을 돌려 다시 검출하게 한다.

흔한 오해

• 의미 키포인트는 SIFT나 ORB 코너 같은 영상 특징점과 같다 — 그런 점은 눈에 띄고 추적하기 쉬워서 선택되지만, 의미 키포인트는 작업상 의미 때문에 선택되며 인스턴스 사이에서 서로 대응한다
• 키포인트가 물체의 기하 전체를 대신한다 — 키포인트는 작업과 관련된 점만 기술하므로, 충돌 회피와 파지 선택에는 여전히 점군이나 메시가 필요하다
• 키포인트를 쓰면 문제에서 자세가 사라진다 — 템플릿 기반 6-DOF 물체 자세는 피하지만, 로봇은 여전히 물체의 강체 변환과 그리퍼의 완전한 자세를 계산한다

알아야 할 사람

• 다양한 일상 물체를 다루는 조작 엔지니어
• 키포인트 검출기를 학습시키는 인식 엔지니어
• 물체 표현을 설계하는 로봇 학습 연구자
• 유연한 픽 앤 플레이스 셀과 조립 셀을 구축하는 통합 업체

관련 기술

• kPAM
• 키포인트 히트맵 회귀
• 조밀 물체 기술자(Dense Object Descriptors)
• 정규화 물체 좌표 공간(Normalized Object Coordinate Space, NOCS)
• Perspective-n-Point

관련 용어

• Category-Level Manipulation
• Affordance
• Point Cloud
• Perspective-n-Point
• Task-Oriented Grasping
• Peg-in-hole insertion

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation