Kinesthetic Teaching

• 다른 이름: lead-through programming, hand guiding, physical demonstration
• 카테고리: Learning & autonomy › Learning from demonstration
• 태그: imitation-learning, demonstrations, human-robot-interaction, cobots, data-collection

로봇이 자신의 관절 또는 엔드 이펙터 움직임을 기록하는 동안 사람이 로봇 팔을 물리적으로 이끌어 작업을 수행하게 함으로써 로봇을 가르치는 방법으로, 로봇 자신의 몸으로 직접 시연을 얻는다.

정의

운동감각 교시(kinesthetic teaching)는 사람이 로봇을 붙잡고 작업을 따라 직접 움직여 시연을 제공하는 방법이다. 로봇의 제어기는 팔을 쉽게 움직일 수 있게 만들고, 로봇은 자신의 관절 위치, 엔드 이펙터 자세, 때로는 힘을 시연 데이터로 기록한다. 기록된 데이터는 고정된 프로그램으로 재생하거나 모방 학습의 훈련 데이터로 사용할 수 있다. 따라서 운동감각 교시는 시연을 수집하는 방법이고, 모방 학습은 시연이 어떤 방식으로 수집되었든 그로부터 정책을 학습하는 방법들의 계열이다. 산업용 로보틱스에서는 같은 개념을 리드스루 프로그래밍(lead-through programming) 또는 핸드 가이딩(hand guiding)이라고 부른다.

주된 장점은 시연이 로봇 자신의 관절 공간에서 곧바로 얻어진다는 것이다. 원격 조작과 영상 시연은 사람의 동작을 다른 몸에 사상해야 하는데, 이를 대응 문제(correspondence problem)라고 하며, 원격 조작 인터페이스는 섬세하거나 접촉이 많은 동작에 쓰기 어려울 수 있다. 운동감각 교시에서는 기록된 모든 동작이 이미 로봇에게 기구학적으로 실현 가능하며, 사람은 팔을 통해 환경과의 접촉을 느낀다. 이를 가능하게 하려면 팔을 손으로 쉽게 움직일 수 있어야 한다. 팔이 역구동 가능하면서 중력 보상 제어기나 저임피던스 제어기를 실행하거나, 관절 토크 센싱 또는 손목 힘 센싱과 어드미턴스 제어를 사용해 사람이 가하는 힘을 따라가야 한다.

운동감각 교시에도 한계가 있다. 사람의 손과 몸이 장면 안에 있으므로, 시연 중에 기록한 이미지에는 사람이 찍히고, 기록된 힘에는 작업 힘뿐 아니라 사람이 미는 힘도 포함된다. 흔한 해결책은 궤적을 운동감각 교시로 기록한 다음 자율적으로 재생해 깨끗한 카메라 데이터와 힘 데이터를 얻는 것이다. 무겁거나 관절이 많은 팔을 이끄는 일은 힘들고, 양팔 작업에는 두 사람이나 세심한 준비가 필요하며, 빠르거나 동적인 동작은 손으로 시연하기 어렵다. 시연에는 교시자의 망설임도 담기므로, 궤적은 보통 사용 전에 평활화하거나 분할한다.

중요한 이유

운동감각 교시는 리타기팅 없이, 추가 하드웨어도 거의 없이, 실현 가능하고 작업에 맞는 시연을 실제 로봇에 얻는 가장 간단한 방법 중 하나이다. 공장 현장에서 협동로봇을 프로그래밍하는 데에도, 모방 학습 연구용 데이터를 수집하는 데에도 널리 쓰인다.

주요 응용

• 핸드 가이딩을 통한 협동로봇 프로그래밍
• 모방 학습과 행동 복제를 위한 시연 수집
• 닦기, 삽입, 퍼내기 같은 접촉이 많은 작업 교시
• 소수의 시연으로부터 동작 프리미티브 학습
• 용접, 도장, 조립 경로를 위한 경유점 교시

실제 사례

한 연구팀이 협동로봇 팔에 숟가락을 달고 그릇에서 음식을 퍼내는 시연을 수집한다. 중력 보상 모드에서 사람이 손목 근처를 잡고 퍼내기 동작을 한 번씩 수행하는 동안, 로봇은 일정한 주기로 엔드 이펙터 자세를 기록한다. 사람의 손이 손목 카메라를 가리고 힘을 더하므로, 기록된 각 궤적은 이후 로봇 혼자 재생하고, 재생 중의 카메라 이미지와 힘 측정값을 궤적과 짝지어 훈련 데이터로 삼는다. 그릇 가장자리에 부딪히거나 음식을 흘린 시연은 버리고, 나머지로 시각-운동 정책을 훈련한다.

흔한 오해

• 운동감각 교시는 원격 조작의 일종이다 — 원격 조작에서는 사람이 별도의 인터페이스를 움직이고 로봇이 원격으로 따라가지만, 운동감각 교시에서는 사람이 로봇 자체를 물리적으로 움직인다
• 어떤 로봇 팔이든 운동감각 교시로 가르칠 수 있다 — 팔에는 역구동 가능한 관절이나, 적절한 제어기와 함께 쓰는 토크 또는 힘 센싱이 필요하다. 강성이 높은 위치 제어 산업용 팔은 손으로 그냥 밀어 움직일 수 없다
• 시연 중에 기록한 데이터는 그대로 쓸 수 있다 — 사람이 카메라 이미지에 찍히고 사람이 가한 힘이 작업 힘과 섞이므로, 많은 파이프라인은 궤적을 재생해 깨끗한 센서 데이터를 기록한다

알아야 할 사람

• 시연을 수집하는 로봇 학습 연구자
• 협동로봇을 프로그래밍하는 시스템 통합 엔지니어
• 중력 보상과 어드미턴스 제어를 구현하는 제어 엔지니어
• 보조 및 서비스 로봇 개발자

관련 기술

• 중력 보상(Gravity Compensation)
• 어드미턴스 제어(Admittance Control)
• Dynamic Movement Primitives
• 관절 토크 센서(Joint Torque Sensors)
• 협동로봇 팔(Collaborative Robot Arms)

관련 용어

• Imitation Learning
• Teleoperation
• Behavior Cloning
• Backdrivability
• Impedance Control
• Cobot

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
• Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.
• AgiBot World: Million-trajectory real-robot manipulation dataset from a fleet of 100+ humanoid robots