Visuomotor Policy
- 다른 이름: end-to-end visuomotor control, vision-based policy
- 카테고리: Learning & autonomy › Learning from demonstration
- 태그: imitation-learning, robot-learning, manipulation, computer-vision, end-to-end-learning
카메라 이미지를, 흔히 관절 상태와 함께, 로봇 행동으로 직접 매핑하며 인식과 제어를 하나의 모델로 학습하는 제어 정책.
정의
시각-운동 정책(visuomotor policy)은 시각 관측, 보통 하나 이상의 카메라 이미지를, 흔히 관절 위치나 그리퍼 폭 같은 고유수용 상태와 함께 받아 관절 토크, 관절 속도, 엔드 이펙터 자세, 그리퍼 명령 같은 모터 명령을 출력한다. 인식과 제어를 함께 학습하므로, 정책이 추출하는 시각 특징은 별도의 인식 모듈이 내놓는 물체 자세 같은 고정된 출력이 아니라 행동에 도움이 되는 것에 의해 형성된다. Sergey Levine, Chelsea Finn과 동료들이 2016년 심층 시각-운동 정책의 엔드투엔드 학습에 관한 연구로 이 용어를 널리 쓰이게 했다.
대부분의 시각-운동 정책은 원격 조작 시연으로부터의 모방 학습, 강화 학습, 또는 둘의 조합으로 학습된다. 전형적인 구조는 이미지를 합성곱 또는 트랜스포머 인코더에 통과시키고, 그 결과를 고유수용감각과 합친 다음, 다층 퍼셉트론, 트랜스포머, 또는 여러 유효한 행동을 표현할 수 있는 확산 정책 같은 생성 모델로 행동을 디코딩한다. 데이터 효율이 핵심 문제이다. 이미지는 고차원이고, 시연은 비싸며, 정책은 조명이나 배경 같은 무관한 세부에 매달릴 수 있다.
많은 연구가 대규모 이미지 데이터셋이나 사람이 나오는 동영상 같은 다른 데이터로 시각 인코더를 사전 학습한 다음, 로봇 시연으로는 작은 정책 헤드만 학습하는 방식으로 이를 다룬다. 고정된 인코더 위에서 적은 시연으로 시각-운동 정책이 얼마나 잘 학습되는지가 이런 표현을 평가하는 흔한 방법이 되었다. 다른 방법들은 데이터 증강, 손목 카메라를 포함한 여러 카메라 시점, 그리고 오차 누적을 줄이는 행동 청킹을 추가한다. 비전-언어-행동 모델은 언어 지시에도 정책을 조건화하여 이 아이디어를 확장한다.
중요한 이유
시각-운동 정책은 픽셀로부터 직접 학습함으로써, 변형 물체, 복잡한 환경, 정밀 삽입처럼 관련 상태를 설계하기 어려운 작업을 로봇이 다룰 수 있게 한다. 이는 현재 조작을 위한 대부분의 모방 학습 시스템의 핵심이다.
주요 응용
- 탁상 및 부엌 조작을 위한 모방 학습
- 카메라 입력을 이용한 파지와 집어 놓기
- 옷 개기 같은 변형 물체 다루기
- 로보틱스를 위한 사전 학습된 시각 표현 평가
- 탑재 카메라를 이용한 드론과 차량 제어
실제 사례
로봇 암에게 머그잔을 거치대에 거는 법을 가르치는 팀이 고정된 장면 카메라와 손목 카메라로 원격 조작 시연을 수집하며, 이미지, 관절 위치, 명령된 엔드 이펙터 운동을 기록한다. 이들은 각 이미지를 사전 학습된 비전 백본으로 인코딩하고, 그 특징을 관절 상태와 이어 붙여, 짧은 미래 행동 청크를 예측하는 정책을 학습한다. 학습 중의 무작위 자르기와 색상 지터는 정책이 작은 카메라 이동과 조명 변화를 무시하도록 돕는다. 로봇에서 정책은 카메라 프레임 속도로 폐루프로 실행되며, 팀은 새 위치에 놓인 머그잔과 방해 물체로 정책을 시험해 이미지의 올바른 부분에 주의를 기울이는지 확인한다.
흔한 오해
- 시각-운동 정책은 이미지만 사용한다 — 대부분은 이미지와 고유수용감각을 결합하며, 고유수용감각은 정밀한 제어에 결정적인 경우가 많다
- 엔드투엔드는 설계 선택이 없다는 뜻이다 — 구조, 행동 표현, 카메라 배치, 사전 학습된 인코더가 모두 결과에 강하게 영향을 준다
- 학습 장면에서 작동하는 정책은 새 장면에서도 작동한다 — 시각-운동 정책은 그런 변화에 대비해 학습하지 않는 한 조명, 배경, 카메라 자세에 민감하다
알아야 할 사람
- 로봇 학습 연구자
- 모방 학습 시스템을 만드는 조작 엔지니어
- 로보틱스를 위한 표현을 연구하는 컴퓨터 비전 연구자
- 로봇 시연 데이터를 수집하는 팀
관련 기술
- 확산 정책(Diffusion Policy)
- Action Chunking with Transformers(ACT)
- 사전 학습된 시각 표현(Pretrained Visual Representations)
- 비전-언어-행동 모델(Vision-Language-Action Models)
- 합성곱 신경망(Convolutional Neural Networks)
관련 용어
관련 프로젝트
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
- Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
동영상
- End-to-End Training of Deep Visuomotor Policies: RAIL
- Fall 2022 6.4210/2 Lecture 17: Visuomotor policies (behavior cloning): underactuated