Articulated object

• 카테고리: Planning & manipulation › Manipulation
• 태그: manipulation, 3d-perception, kinematics, mobile-manipulation, household-robotics

관절(보통 회전 관절 또는 직동 관절)로 연결된 강체 부품들로 이루어진 물체로, 문, 서랍, 노트북, 오븐처럼 로봇이 조작할 때 부품들이 서로에 대해 움직인다.

정의

관절형 물체(articulated object)는 제한된 상대 운동을 허용하는 관절로 연결된 강체 링크들로 이루어진다. 로봇 조작에서 관절은 보통 1자유도이다. 문, 뚜껑, 노트북 화면에는 회전 관절이, 서랍과 미닫이 패널에는 직동 관절이 쓰인다. FlowBot3D의 정식화를 비롯한 많은 정식화는 캐비닛 본체나 오븐처럼 링크 하나가 세계에 고정되어 있다고 가정하므로, 과제는 나머지 부품을 움직이는 것이 된다. 일반적으로는 가위, 펜치, 책상 위의 노트북 같은 관절형 물체가 통째로 움직일 수도 있다.

이런 물체를 조작한다는 것은 기구학적 구속을 존중한다는 뜻이다. 문을 여는 로봇은 경첩 축을 중심으로 한 호를 따라 손을 움직여야 한다. 곧장 뒤로 당기면 큰 내력이 생기거나 파지를 놓친다. 접근 방식은 얼마나 많이 모델링하느냐에서 갈린다. 모델 기반 파이프라인은 기구학적 구조를 명시적으로 추정한다. 어떤 부분이 링크인지, 관절 유형, 축의 방향과 위치, 현재 관절 상태를 추정하며, 흔히 부품이 움직이는 것을 관찰하고 회전 또는 직동 모델을 맞추는 방식이다. 학습 기반 접근은 이 구조를 단일 점군이나 이미지에서 예측하거나, 이를 건너뛰고 국소적 양을 직접 예측한다. 예를 들어 부품 위 각 점이 움직일 방향을 주는 관절 흐름(articulation flow)이나, 어디를 잡고 당길지를 나타내는 어포던스 맵이 있다. 상호작용 인식(interactive perception)은 둘을 결합한다. 로봇이 부품을 조금 움직이고, 결과를 관찰하고, 추정을 업데이트한다.

관절형 물체는 보통 로봇과 같은 방식, 즉 URDF 같은 형식의 기구학 트리로 표현된다. SAPIEN 시뮬레이터와 함께 쓰이는 PartNet-Mobility 같은 시뮬레이션 데이터셋은 학습과 테스트를 위해 주석이 달린 대규모 가정용 물체 집합을 제공한다. 실제적인 어려움으로는 알 수 없는 관절 한계, 마찰과 스프링 하중, 별도의 동작이 필요한 걸쇠와 손잡이, 관절 축이 가려진 부분 시야가 있다.

중요한 이유

일상의 건조 환경 상당 부분이 관절형이다. 문, 서랍, 캐비닛, 냉장고, 가전제품이 그렇다. 가정용 및 서비스 로봇은 이를 안정적으로 열고 닫아야 하며, 이를 위해서는 대상을 자유 강체로 취급하는 대신 기구학적 구속에 대해 추론해야 한다.

주요 응용

• 가정과 사무실에서 문, 서랍, 캐비닛 열기
• 오븐, 식기세척기, 냉장고 같은 가전제품 조작
• 가정용 모바일 매니퓰레이션 벤치마크
• 실내 장면의 상호작용형 디지털 트윈 구축
• 펜치와 가위 같은 경첩형 도구 사용

실제 사례

주방 캐비닛을 열도록 모바일 매니퓰레이터를 프로그래밍하는 팀이 깊이 카메라로 캐비닛의 점군을 획득한다. 네트워크가 문을 분할하고 경첩 축 또는 점별 운동 방향을 예측하며, 시스템은 손잡이나 문 가장자리의 파지를 선택한다. 그런 다음 팔은 임피던스 제어 아래에서 예측된 호를 따라가므로, 축 추정의 오차가 큰 힘으로 쌓이는 대신 컴플라이언스로 흡수된다. 문이 조금 움직이고 나면 시스템은 손의 실제 경로로부터 축을 다시 추정하고 보정된 호로 계속 진행하며, 측정된 힘이 관절 한계를 나타내면 멈춘다.

흔한 오해

• 문 열기는 순수한 위치 제어 문제이다 — 손이 관절의 구속을 따라야 하므로 정확한 위치만큼 컴플라이언스나 힘 제어가 중요하다
• 행동하기 전에 관절 축을 정확히 알아야 한다 — 많은 시스템은 대략적인 추정에서 시작해 상호작용 중에 이를 다듬는다
• 관절형 물체는 항상 세계에 고정되어 있다 — 많은 벤치마크는 단순화를 위해 고정된 베이스를 가정하지만, 도구와 휴대용 기기는 통째로도 움직인다

알아야 할 사람

• 모바일 및 가정용 조작 엔지니어
• 3D 장면 이해를 연구하는 로봇 인식 연구자
• 시뮬레이션 및 데이터셋 구축자
• 서비스 로봇 개발자

관련 기술

• PartNet-Mobility 데이터셋(PartNet-Mobility Dataset)
• SAPIEN 시뮬레이터(SAPIEN Simulator)
• URDF
• 점군 분할 네트워크(Point Cloud Segmentation Networks)
• 기구학적 구조 추정(Kinematic Structure Estimation)

관련 용어

• Interactive Perception
• URDF
• Impedance Control
• Point Cloud
• Joint
• Affordance

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design