Eye-in-Hand Camera

• 다른 이름: wrist-mounted camera, wrist camera, hand camera
• 카테고리: Sensing › Exteroceptive
• 태그: cameras, manipulation, hand-eye-calibration, end-of-arm-tooling, robot-learning

그리퍼와 함께 움직이도록 로봇의 손목이나 엔드 이펙터에 장착한 카메라로, 손이 막 닿으려는 대상을 가까이에서 보여 준다.

정의

아이인핸드 카메라(eye-in-hand camera)는 로봇의 손목, 플랜지, 그리퍼에 장착되므로 시점이 엔드 이펙터와 함께 움직인다. 그 대안인 아이투핸드(eye-to-hand) 카메라는 작업 셀이나 로봇의 머리 또는 베이스에 고정되어 바깥에서 팔을 지켜본다. 많은 시스템은 둘을 결합한다. 장면 전체를 개관하는 고정 카메라와 최종 접근을 위한 손목 카메라를 함께 쓴다.

손목 위치는 몇 가지 이점을 준다. 카메라는 중요한 순간에 물체를 가까이에서 보므로, 작은 특징과 정렬 오차가 높은 해상도로 보인다. 시야가 그리퍼에 대해 대체로 일정하므로 이미지 특징과 필요한 그리퍼 운동 사이의 관계가 단순해진다. 이것이 아이인핸드 시각 서보잉(visual servoing)의 기반이며, 학습 기반 조작 정책에서는 흔히 물체가 장면 어디에 놓여 있는지에 대한 행동의 민감도를 낮춘다. 카메라를 움직여 가림 너머를 살피거나 물체를 여러 면에서 스캔할 수도 있다. 대가는 좁고 끊임없이 바뀌는 시야 때문에 더 넓은 장면을 놓치는 것, 그리퍼 자신의 손가락과 쥐고 있는 물체에 의한 가림, 빠른 이동 중의 모션 블러, 그리퍼가 물체에 가장 가까울 때는 너무 길 수 있는 최소 초점 거리나 최소 깊이 범위, 그리고 손목에 더해지는 케이블과 질량이다.

카메라 이미지를 로봇 좌표계에서 사용하려면 핸드-아이 캘리브레이션(hand-eye calibration), 즉 카메라와 플랜지 사이의 고정된 변환을 추정하는 일이 필요하다. 표준 정식화인 AX = XB는 캘리브레이션 타깃을 기준으로 관측한 카메라 운동을, 순기구학으로 얻은 대응하는 플랜지 운동과 비교한다. Tsai와 Lenz는 1989년에 널리 쓰이는 해법을 발표했다. 이 변환의 오차는 그대로 파지 오프셋으로 나타나므로, 카메라 마운트를 바꾸거나 마운트가 충격을 받을 때마다 캘리브레이션을 다시 한다.

중요한 이유

손목 카메라는 접촉이 일어나는 바로 그곳을 정밀하게 보여 주기 때문에 연구용 로봇 암에서는 표준이고 산업용 피킹에서도 흔하다. 시연 학습 연구들에서는 손목 시점을 추가하면 고정 카메라만 쓸 때에 비해 파지와 삽입 작업의 성공률이 개선되는 경우가 많다는 결과가 나왔다.

주요 응용

• 파지와 삽입을 위한 최종 접근 정렬
• 학습 기반 시각-운동 조작 정책의 이미지 입력
• 아이인핸드 시각 서보잉
• 능동적 시점 선택과 물체 스캔
• 부품과 특징의 근거리 검사

실제 사례

픽 앤 플레이스 정책을 위한 원격 조작 시연을 수집하는 한 팀은 탁자를 향한 고정 카메라와 그리퍼에 집게로 고정한 작은 RGB 카메라에서 이미지를 기록한다. 학습 중에는 두 시점을 모두 정책에 입력한다. 시험에서 손목 시점은 정책이 그리퍼를 닫기 직전에 작은 정렬 오차를 보정할 수 있게 해 주는데, 멀리 있는 고정 카메라로는 이를 분해해 볼 수 없다. 데이터를 수집하기 전에 팀은 체커보드 앞에서 팔을 일련의 자세로 움직여 핸드-아이 캘리브레이션을 수행하고, 손목이 회전할 때 카메라 케이블이 걸리지 않도록 전완부를 따라 케이블 가이드를 단다.

흔한 오해

• 손목 카메라가 고정 장면 카메라를 대체한다 — 좁은 시야 때문에 더 넓은 맥락을 놓치므로, 많은 시스템은 둘 다 사용한다
• 장착하고 나면 카메라 자세를 알게 된다 — 카메라-플랜지 변환은 핸드-아이 캘리브레이션으로 추정해야 하며, 마운트를 조금이라도 바꾼 뒤에는 확인해야 한다
• 가까울수록 항상 좋다 — 깊이 카메라에는 최소 거리가 있으며, 아주 가까운 시점은 손가락이나 물체 자체에 가려지는 경우가 많다
• 아이인핸드 캘리브레이션과 아이투핸드 캘리브레이션은 같은 문제이다 — 미지의 변환이 다르며, 한 경우에는 카메라를 플랜지에, 다른 경우에는 로봇 베이스에 연결한다

알아야 할 사람

• 조작 및 파지 엔지니어
• 시연 데이터를 수집하는 로봇 학습 연구자
• 산업용 셀을 위한 머신 비전 통합 엔지니어
• 엔드 오브 암 툴링(end-of-arm tooling) 설계자

관련 기술

• 핸드-아이 캘리브레이션(Hand-Eye Calibration)
• 손목 장착 RGB-D 카메라(Wrist-Mounted RGB-D Cameras)
• 시각 서보잉(Visual Servoing)
• 피듀셜 마커(Fiducial Markers)
• Robomimic

관련 용어

• Visual Servoing
• RGB Camera
• Depth Camera
• End Effector
• Visuomotor Policy
• Gripper

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design