OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction

저자: Lujie Yang, Xiaoyu Huang, Zhen Wu, Angjoo Kanazawa, Pieter Abbeel, Carmelo Sferrazza, C. Karen Liu, Rocky Duan, Guanya Shi · ICRA 2026

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

강한 기구학적 제약을 둔 상호작용 메시 리타깃팅이 인간 MoCap을 깨끗한 휴머노이드 참조로 바꾸며, 5개의 보상 항을 사용하는 RL 정책이 Unitree G1으로 제로샷 전이된다.

중요한 이유

깨끗한 참조 덕분에 저자들은 보상 항 다섯 개, 로봇 도메인 무작위화 항 네 개, 그리고 BeyondMimic의 하이퍼파라미터를 그대로 사용하여 커리큘럼 없이 고유수용성 RL 정책을 학습시킬 수 있었다. 노력의 중심이 보상 튜닝에서 더 나은 데이터 생산으로 옮겨 가며, 동일한 파이프라인은 키포인트 대응 관계와 충돌 모델만 바꾸어 다른 휴머노이드(Unitree H1, Booster T1)에 적용된다.

문제

휴머노이드 스킬은 흔히 로봇에 리타깃팅된 인간 동작을 추종하여 학습되지만, 일반적인 리타깃팅 파이프라인(PHC, GMR, VideoMimic)은 제약이 없거나 소프트 페널티를 둔 최적화를 사용한 키포인트 매칭에 의존한다. 그 결과 발 미끄러짐, 관통, 손-물체 또는 발-지형 접촉 손실이 나타나며, 이로 인해 후속 RL에서 대대적인 보상 엔지니어링이 필요해진다. 모든 물체 자세, 물체 형상 또는 지형 높이마다 별도의 시연을 수집하는 것도 비용이 많이 든다.

제안 방법

OmniRetarget은 신체 키포인트와 물체 및 지형 위에서 샘플링한 점들에 대해 Delaunay 사면체 분할로 상호작용 메시를 구성하고, 각 프레임마다 인간 메시와 로봇 메시 사이의 라플라시안 변형을 최소화한다. 강한 제약으로 충돌 회피, 관절 및 속도 한계, 지지발의 미끄러짐 없음을 강제하며, 이전 프레임으로 웜스타트한 순차 SOCP로 푼다. 물체 자세, 물체 형상 또는 지형 높이를 바꾸어 다시 풀면 하나의 시연이 기구학적으로 유효한 여러 궤적으로 바뀐다.

핵심 통찰

키포인트를 맞추는 대신 신체, 물체, 지형 사이의 공간 관계를 보존하면 대부분의 관통 및 발 미끄러짐 아티팩트가 사라진다.
강한 제약은 VideoMimic이 사용하는 소프트 충돌 및 접촉 페널티의 튜닝 민감성을 피한다.
리타깃팅 품질이 RL 성공을 직접 좌우한다. 지형 작업에서는 접촉 보존이 성공률과 함께 움직였다.
기구학적 증강은 적은 비용으로 커버리지를 넓힌다. 증강된 전체 집합으로 학습하면 79.1%의 성공률을 보여 공칭 동작만 사용한 82.2%와 대비되었으며, 학습 중 물체 형상과 자세만 무작위화한 경우는 성능이 낮았다.
상호작용 메시를 물체의 국소 좌표계에서 구성하면 물체를 이동하거나 회전해도 라플라시안 좌표가 변하지 않는다.

주요 결과

로봇-물체(OMOMO): 관통 지속 시간 0.00으로 PHC, GMR, VideoMimic의 0.60–0.83과 대비되며, 최대 관통 깊이 1.34 cm 대 5.11–8.50 cm, 발 미끄러짐 0.
로봇-물체 작업에서의 RL 성공률: 82.20%로, PHC 71.28%, GMR 50.83%, VideoMimic 3.85%와 대비된다.
로봇-지형(자체 MoCap): RL 성공률 94.73%로 GMR 78.94%, PHC 52.63%, VideoMimic 51.75%와 대비되며, 접촉 보존은 0.72 대 0.45–0.67이다.
로봇 단독(LAFAN1): 최대 관통 1.07 cm로 Unitree LAFAN1 리타깃팅 데이터셋의 3.22 cm와 대비되며 발 미끄러짐이 없다. 둘 다 RL 성공률 100%에 도달한다.
하드웨어에서 Unitree G1은 시뮬레이션에서 제로샷으로 전이되어 30초 파쿠르 시퀀스(4.6 kg 의자 운반, 오르기, 점프, 구르기)를 수행하고 자기 키의 70%인 0.9 m 높이의 플랫폼에 오른다.
8시간 이상의 리타깃팅 궤적이 생성되었으며, RL 비교에는 까다로운 동작 39개가 사용되었다.

한계

리타깃팅은 프레임 단위로 풀린다. 저자는 영상과 같이 노이즈가 더 많은 동작 소스를 다루기 위해 전체 궤적 최적화를 제안한다.
정책은 고유수용성이며 참조를 추종한다. 자율적인 시각-운동 정책 학습은 향후 과제로 남겨 두었다.
순차 SOCP 솔버에서 충돌 제약을 선형화하면 가끔 경미한 관통(최대 깊이 약 1.3 cm)이 남으며, RL이 이를 흡수할 것으로 기대된다.
베이스라인 성능은 하이퍼파라미터에 따라 달라질 수 있다. 저자는 베이스라인의 공개 기본값에서 출발하여 이를 조정했다.
상자 옮기기 동작은 하나의 다중 작업 정책을 공유하지만, 플랫폼 오르기는 참조 동작마다 정책 하나를 사용한다.

분야에 미친 영향

ICRA 2026 Best Paper Award on Robot Manipulation and Locomotion 최종 후보이며, 피인용 209회이다. 논문은 모든 코드, 리타깃팅된 데이터셋(OMOMO 상자 운반 2.78 h, 자체 MoCap 1 h, LAFAN1 4.6 h) 및 학습된 정책을 공개할 예정이라고 밝힌다.

초록

휴머노이드 로봇에게 복잡한 스킬을 가르치는 지배적인 패러다임은 인간 동작을 기구학적 참조로 리타깃팅하여 강화학습(RL) 정책을 학습시키는 것이다. 그러나 기존 리타깃팅 파이프라인은 인간과 로봇 사이의 상당한 형태 격차로 어려움을 겪는 경우가 많아, 발 미끄러짐(foot-skating)과 관통 같은 물리적으로 그럴듯하지 않은 아티팩트를 만들어 낸다. 더 중요한 것은, 일반적인 리타깃팅 방법이 표현력 있는 보행과 로코-매니퓰레이션(loco-manipulation)에 필수적인 풍부한 인간-물체 및 인간-환경 상호작용을 무시한다는 점이다. 이를 해결하기 위해 우리는 OmniRetarget을 도입한다. 이는 에이전트, 지형, 조작 대상 물체 사이의 핵심적인 공간 및 접촉 관계를 명시적으로 모델링하고 보존하는 상호작용 메시(interaction mesh)에 기반한 상호작용 보존 데이터 생성 엔진이다. 기구학적 제약을 강제하면서 인간 메시와 로봇 메시 사이의 라플라시안(Laplacian) 변형을 최소화함으로써, OmniRetarget은 기구학적으로 실현 가능한 궤적을 생성한다. 또한 작업 관련 상호작용을 보존하면 단일 시연으로부터 다른 로봇 형태, 지형, 물체 구성으로의 효율적인 데이터 증강이 가능하다. 우리는 OMOMO, LAFAN1 및 자체 MoCap 데이터셋의 동작을 리타깃팅하여 OmniRetarget을 종합적으로 평가하며, 널리 쓰이는 베이스라인보다 기구학적 제약 만족도와 접촉 보존이 우수한 8시간 이상의 궤적을 생성한다. 이러한 고품질 데이터 덕분에 고유수용성(proprioceptive) RL 정책은 모든 작업이 공유하는 단 5개의 보상 항과 단순한 도메인 무작위화만으로, 어떠한 학습 커리큘럼 없이도 Unitree G1 휴머노이드에서 장기 지평(최대 30초) 파쿠르와 로코-매니퓰레이션 스킬을 성공적으로 수행한다.

링크

arXiv 2509.26633: https://arxiv.org/abs/2509.26633
DOI 10.1109/ICRA57385.2026.11696487: https://doi.org/10.1109/ICRA57385.2026.11696487
PDF: https://arxiv.org/pdf/2509.26633v1
프로젝트 페이지: https://omniretarget.github.io/