Visual Imitation Enables Contextual Humanoid Control

저자: Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa · CoRL 2025

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

VideoMimic은 휴대폰 비디오에서 사람과 장면을 재구성하고, 그 동작을 Unitree G1에 리타깃팅하며, 지형에 따라 계단을 오르거나 앉거나 일어서는 하나의 정책을 학습시킨다.

중요한 이유

배치된 정책은 고유 감각, LiDAR 높이 지도, 조이스틱 방향만 필요로 하며, 작업 레이블이 아니라 지형을 보고 걷기, 계단 오르기, 앉기, 일어서기 중에서 선택한다. 학습용 참조 동작은 모션 캡처 스튜디오가 아니라 가볍게 촬영한 스마트폰 비디오에서 나오며, 저자들은 자신들이 아는 한 이것이 단안 인간 비디오로부터 학습된 맥락 인식 휴머노이드 정책의 첫 실제 배치라고 밝힌다.

문제

계단 오르기나 의자에 앉기 같은 맥락 의존적 전신 기술을 휴머노이드에게 가르치려면 보통 행동과 환경마다 수작업으로 조정한 보상이나 모션 캡처 데이터가 필요하다. 동작 모방 방법은 일반적으로 평탄한 지면이나 장비를 갖춘 캡처 스튜디오를 가정하며, 단안 재구성 방법은 사람은 복원하더라도 주변 장면은 미터 스케일로 복원하지 못하는 경우가 많다.

제안 방법

단안 비디오로부터 VideoMimic은 프레임별 SMPL 인체 자세와 2D 키포인트, 그리고 장면 점군(MegaSaM 또는 MonST3R)을 추정한 뒤, SMPL 인체 키 사전 정보를 미터 기준으로 삼아 사람의 궤적과 장면 스케일을 함께 최적화한다. 장면은 GeoCalib로 중력 방향에 정렬되고 NKSR로 메시화된다. 동작은 관절 한계, 접촉, 충돌 비용을 사용해 Unitree G1에 리타깃팅된다. 정책은 Isaac Gym에서 네 단계로 학습된다. LAFAN 모션 캡처로 RL 사전 학습, 11 × 11 높이 지도를 이용한 장면 조건부 추적, 루트 방향만을 조건으로 하는 정책으로의 DAgger 증류, 그리고 그 축소된 관측 집합으로 PPO 미세 조정이다.

핵심 통찰

SMPL 신체의 미터 단위 키를 기준으로 사람의 동작과 장면 스케일을 함께 최적화하면 단안 SfM 점군의 스케일 모호성이 해소된다.
노이즈가 있는 비디오 참조를 추적하기 전에 모션 캡처 데이터로 RL 사전 학습을 하는 것이 필요하다. 이것이 없으면 정책이 거의 학습되지 않는데(Fig. 6), 이는 부분적으로 재구성된 시작 자세가 불안정하거나 장면과 교차할 수 있기 때문이다.
루트 방향만 보는 정책으로 증류한 뒤 같은 축소된 입력으로 RL을 다시 실행하면 증류된 정책보다 개선되며, 품질이 낮은 참조 클립도 사용할 수 있게 된다.
하드웨어 배치에는 두 가지 요소가 결정적이었다. 참조 동작 대비 에피소드 종료 허용 오차를 느슨하게 하는 것과, 학습 중 현실적인 물리 섭동을 가하는 것이다.
단계적 실제 시험에서 루트 속도보다 루트 위치를 조건으로 하는 것이 더 잘 작동했다.

주요 결과

SLOPER4D 하위 집합에서의 재구성(Table 2): WA-MPJPE 112.13 대 149.48(TRAM), 189.29(WHAM); W-MPJPE 696.62 대 954.90, 1148.49; Chamfer 거리 0.75 대 TRAM 10.66(WHAM은 장면을 복원하지 않는다).
사람-장면 공동 최적화는 컴파일 후 NVIDIA A100에서 300프레임 시퀀스를 약 20 ms에 처리한다. 300프레임 클립당 리타깃팅은 약 10 s, 중력 정렬과 메시화는 약 60 s가 걸린다.
직접 촬영한 스마트폰 클립 123개로 이루어진 학습 세트: 계단 오르기 39개, 내려가기 36개, 둘 다 13개, 일어서기 7개, 앉기 12개, 앉았다 일어서기 5개, 지형 통과 11개. 평지 걷기 LAFAN 클립 10개가 샘플링의 10%를 차지한다.
23-DoF Unitree G1에 탑재되어 50 Hz로 실행되는 하나의 정책이 실내외 계단을 오르내리고, 가파른 흙 경사면과 거친 식생을 지나며, 의자와 벤치에 앉았다 일어선다.
계단을 내려가다 발이 미끄러진 뒤, 정책은 잠시 한 발로 깡충 뛰며 회복한 다음 정상 보행으로 돌아갔다.

한계

단안 4D 재구성은 취약하다. MegaSaM 카메라 드리프트가 중복된 '유령' 표면을 만들고, 사람의 점이 정적 장면에 융합되며, 텍스처가 적은 이미지는 실패하고, NKSR은 좁은 계단 디딤판을 지나치게 평활화할 수 있어, 그러한 비디오는 폐기된다.
리타깃팅은 모든 참조 자세를 로봇이 수행 가능하게 만들 수 있다고 가정한다. 어수선한 장면에서는 상충하는 접촉 및 충돌 비용이 솔버를 나쁜 국소 최솟값에 가둘 수 있다.
11 × 11 LiDAR 높이 지도는 정밀한 접촉, 매니퓰레이션, 돌출된 장애물을 다루기에는 너무 거칠다.
장면은 단일 강체 메시로 모델링되므로 관절형 또는 변형 가능한 물체는 처리되지 않는다.
클립이 123개뿐이어서 정책이 때때로 회복 행동에 의존해 움직임이 끊긴다. 실제 로봇 결과는 성공률 보고 없이 정성적으로 제시된다.

분야에 미친 영향

이 논문은 CoRL 2025 Best Student Paper Award를 받았으며 인용 횟수는 142회이다. 저자들은 재구성 코드, 정책 학습 프레임워크, 123개 비디오 데이터셋을 공개하겠다고 밝히며, 결과는 videomimic.net에서 볼 수 있다.

초록

주변 환경 맥락을 이용하여 휴머노이드에게 계단을 오르고 의자에 앉는 법을 어떻게 가르칠 수 있을까? 가장 간단한 방법은 그냥 보여 주는 것이라 할 수 있다. 사람의 동작 비디오를 가볍게 촬영해 휴머노이드에게 입력하는 것이다. 우리는 일상 비디오를 수집하고, 사람과 환경을 함께 재구성하며, 해당 기술을 수행하는 휴머노이드 로봇용 전신 제어 정책을 생성하는 real-to-sim-to-real 파이프라인인 VIDEOMIMIC을 소개한다. 우리는 실제 휴머노이드 로봇에서 파이프라인의 결과를 시연하며, 계단 오르내리기, 의자와 벤치에 앉았다 일어서기, 그리고 그 밖의 동적 전신 기술 같은 강건하고 반복 가능한 맥락 기반 제어를 보여 준다. 이 모두가 환경과 전역 루트 명령을 조건으로 하는 단일 정책에서 나온다. VIDEOMIMIC은 휴머노이드가 다양한 실제 환경에서 작동하도록 가르치는 확장 가능한 길을 제시한다.

링크

arXiv 2505.03729: https://arxiv.org/abs/2505.03729
DOI 10.48550/arXiv.2505.03729: https://doi.org/10.48550/arXiv.2505.03729
PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/allshire25a/allshire25a.pdf
프로젝트 페이지: https://videomimic.net/