GRAIL: Generating Humanoid Loco-Manipulation from World Models

저자: Tianyi Xie, Haotian Zhang, Jinhyung Park, Zi Wang, Bowen Wen, Jiefeng Li, Xueting Li, Qingwei Ben, Haoyang Weng, Yufei Ye, David Minor, Tingwu Wang, Chenfanfu Jiang, Sanja Fidler, Jan Kautz, Linxi Fan, Yuke Zhu, Zhengyi Luo, Umar Iqbal, Ye Yuan · CoRL 2026 2026

중요한 이유

휴머노이드 로봇에는 온몸으로 걷고, 무릎을 꿇고, 앉고, 물체를 다루는 시연이 필요한데, 지금은 이를 로봇 원격 조작이나 모션 캡처로 얻으며 둘 다 새 물체나 새 계단마다 물리적 장면과 사람이 필요합니다. GRAIL은 이를 배포 전까지 컴퓨터 안에 머무는 파이프라인으로 대체합니다. 3D 물체와 장면을 넣으면 로봇에 바로 쓸 수 있는 궤적이 나오고, 생성에는 GPU 한 장에서 시퀀스당 약 14분이 걸립니다. 저자들은 이 데이터만으로 충분하다는 것을 보였습니다. 이 데이터로만 학습한 시각 정책이 실제 Unitree G1에서 물체를 집고 계단을 오릅니다. 코드, 문서, 22,000개가 넘는 G1 동작 데이터셋, 추적용 체크포인트가 공개되어 있어, 휴머노이드용 합성 데이터를 만드는 사람에게 실제로 돌아가는 참고 구현이 됩니다. 코드는 NVIDIA License, 데이터셋은 CC BY-NC 4.0이라 둘 다 연구나 평가 목적으로만 쓸 수 있고 상용 제품에는 쓸 수 없습니다.

문제

휴머노이드 로코-매니퓰레이션 정책에는 많은 물체, 전신 동작, 지형 형태를 아우르는 시연이 필요하고, 각 시연은 물리적으로 그럴듯하며 로봇이 실행할 수 있어야 합니다. 원격 조작과 모션 캡처는 좋은 시연을 주지만 확장이 어렵습니다. 새 물체나 새 지형 배치마다 운영자, 계측 장비를 착용한 배우, 다시 꾸민 물리적 장면이 필요합니다. 일반 비디오에서 로봇 궤적을 재구성하면 폭은 넓어지지만, 카메라, 척도, 물체 모양, 신체 모양, 접촉, 월드 좌표계에서의 움직임을 모두 단일 시점에서 추측해야 합니다. 생성 비디오를 사람-물체 상호작용의 원천으로 쓰던 기존 파이프라인도 같은 값을 생성 후에 추론하도록 남겨 두기 때문에, 결과물이 로봇이 추종할 수 없는 경우가 많습니다.

제안 방법

GRAIL은 무언가를 생성하기 전에 장면부터 고정합니다. 물체 에셋을 Infinigen 방에 놓고 그 옆에 Unitree G1 비율에 맞춘 사람 캐릭터를 배치한 뒤, 물리 시뮬레이션으로 안정시키고 알려진 카메라 파라미터로 Blender에서 렌더링합니다. GPT-4o가 그 프레임을 보고 상호작용 프롬프트를 쓰고, 월드 모델로 쓰는 Kling의 이미지-비디오 모델이 사람이 물체를 다루는 고정 카메라 비디오를 생성합니다. 형상, 척도, 카메라, 장면 깊이, 체형이 알려져 있으므로 재구성이 제약됩니다. GENMO가 체형을 고정한 채 신체 자세를 추정하고, WiLoR가 손을 다듬고, 미세 조정한 FoundationPose가 알려진 첫 자세에서부터 물체를 추적하며, 몸과 물체를 함께 최적화해 키포인트, 투영, 깊이, 접촉 손실로 떠 있는 접촉, 관통, 깊이 드리프트를 없앱니다. 물체 추적이 SAM2 마스크와 어긋나는 시퀀스는 버립니다. GMR이 동작을 G1에 리타기팅하고, SONIC 전신 제어기 위에 만든 두 개의 범용 작업 추적기가 Isaac Lab에서 참조 동작을 로봇 행동으로 바꿉니다. 하나는 SONIC의 잠재 토큰을 조정하고 두 손을 여닫는 물체 인지 어댑터이고, 다른 하나는 로봇 주변 지면의 높이 맵을 읽는 네트워크와 함께 SONIC을 미세 조정하는 장면 인지 추적기로, 연석, 경사로, 계단, 의자에 쓰입니다. 실제 로봇용으로는 이 추적기들을 도메인 랜덤화로 학습한 자기중심 시점 RGB 정책으로 증류합니다.

핵심 통찰

비디오를 생성하기 전에 장면을 알고 있다는 점이 재구성을 쓸 만하게 만듭니다. 물체 형상, 카메라, 미터 단위 척도, 장면 깊이, 로봇 비율의 몸이 미지수가 아니라 입력이 됩니다
생성하기에는 사람 비디오가 낫습니다. 현재 비디오 모델은 로봇보다 사람의 조작에 대한 사전 지식이 강하고, 사람의 몸과 손 재구성 도구가 더 성숙했습니다
로봇 비율에 미리 맞춘 캐릭터는 G1로 리타기팅할 때의 불일치를 줄여, 손-물체 접촉과 몸-장면 접촉이 리타기팅 후에도 유지됩니다
재구성 손실은 화면뿐 아니라 로봇에게도 하나하나 중요합니다. 투영, 깊이, 접촉 항 중 하나를 빼면 하위 추적 성공률이 81.4%에서 41.6%~53.3%로 떨어집니다
몸을 정확히 따라가는 것만으로는 조작이 되지 않습니다. 기본 SONIC은 몸 추적이 가장 좋지만 성공률은 가장 낮고, 물체 인지 잠재 어댑터가 물체 다루기를 더합니다
작업군마다 추적기 하나를 2,000~4,000개 동작으로 학습하면 비용이 동작당 약 0.5~0.9분의 학습으로 줄고, 새 동작은 기존 정책에서 이어서 미세 조정해 추가할 수 있습니다

주요 결과

공통 20개 물체에서 GRAIL이 생성한 상호작용은 물리 시뮬레이션에서 88.9%의 성공률로 추종되었고, DAViD는 24.0%, HOIDiff는 15.8%, CHOIS는 10.5%였습니다. 접촉 거리(0.008)와 관통 비율(0.90%)도 가장 낮았습니다
참가자 30명의 사용자 연구에서 GRAIL은 가장 적절한 물체 사용으로 74.7%, 물리적으로 가장 그럴듯한 동작으로 70.9% 선택되었으며, 이론상 상한은 75%입니다
43개 물체에 걸친 124개 동작 벤치마크에서 범용 작업 추적기는 조작 성공률 81.4%를 기록했고, HDMI는 48.5%, ResMimic은 49.2%였습니다. SONIC 없이는 45.0%로 떨어집니다
파이프라인은 1,000개의 물체 에셋과 1,000개의 절차적 지형에서 20,000개 이상의 시퀀스를 만들었고, NVIDIA A100 한 장에서 5초짜리 시퀀스당 약 14분이 걸렸습니다
실제 Unitree G1에서 GRAIL 데이터만으로 학습한 자기중심 시점 RGB 집기 정책은 학습에 쓴 물체 다섯 개에서 84%, 처음 보는 물체 다섯 개에서 80% 성공했으며, 물체마다 10회 시도했습니다
GRAIL 지형 시퀀스만으로 학습한 계단 오르기 정책은 실제 환경에서 90% 성공률에 도달했습니다

한계

코드는 NVIDIA License로, 연구나 평가 목적의 사용만 허용합니다(NVIDIA 자신은 예외). 공개 데이터셋은 CC BY-NC 4.0이고, 함께 제공되는 일부 가중치와 에셋은 각자의 서드파티 라이선스를 유지하므로, 어느 것도 상용 제품에 넣을 수 없습니다
기본 설정에서 비디오 생성은 유료 Kling API를 호출하고 프롬프트는 OpenAI API(GPT-4o)에서 나오므로, 새 데이터를 만들려면 외부 서비스 키가 필요합니다. 2026년 팔월에 MiniMax-H3를 쓰는 로컬 옵션이 추가되었습니다
파이프라인은 물체마다 3D 에셋과 시뮬레이터용 장면이 있어야 하고, 비디오 모델이 요청한 상호작용을 그대로 연기해야 합니다. 심한 가림, 빠른 움직임, 프레임마다 모습이 바뀌는 물체에서는 재구성 품질이 떨어지고, 필터링이 적지 않은 비율의 시퀀스를 버립니다
학습이 무겁습니다. 각 추적 정책은 NVIDIA L40 GPU 64장에서 PPO 30,000회 반복, 약 30시간을 돌렸고, 새 동작군에는 여전히 학습이나 미세 조정이 필요합니다
실제 로봇 결과는 로봇 한 대에서의 두 가지 작업, 즉 탁자에서 집기와 계단 오르기뿐이며 물체마다 10회 시도했습니다. 전신 조작과 앉기는 시뮬레이션에서만 보였고, 손은 열기와 닫기의 이진 파지만 씁니다
공개 데이터셋은 집기, 앉기, 지형을 다룹니다. 전신 조작 데이터는 아직 할 일 목록에 남아 있고, 빠른 시작 데모 스크립트도 아직 공개되지 않았습니다
모든 결과는 저자들이 직접 보고한 것이며, 작성 시점까지 독립적인 재현은 발표되지 않았습니다

분야에 미친 영향

로보틱스에서 비디오 생성 모델은 지금까지 주로 결과를 상상하거나 시각적 사전 학습을 제공하는 데 쓰였습니다. GRAIL은 이를 휴머노이드를 위한 물리적 시연의 원천으로 쓰고, 이것이 통하는 핵심이 제약 없는 비디오에서 3D 동작을 읽어 내는 것이 아니라 3D 장면을 먼저 정하고 그 안에서 재구성하는 데 있음을 보여 줍니다. 실제 로봇의 집기와 계단 오르기를 다른 데이터 없이 학습해 낸 결과는, 월드 모델에서 나온 합성 데이터가 원격 조작, 모션 캡처와 나란히 휴머노이드 데이터셋을 키우는 방법이 될 수 있다는 근거가 됩니다. 공개 데이터셋은 지형과 집기에 대한 대량의 G1 참조 동작을 다른 그룹에 제공해 추적기 학습에 쓸 수 있게 합니다.

초록

휴머노이드 로코-매니퓰레이션을 확장하려면 다양한 물체, 전신 동작, 장면 기하 구조를 아우르는 로봇 호환 시연이 필요하지만, 원격 조작과 모션 캡처는 수집할 때마다 물리적 설치, 계측 장비를 착용한 배우, 로봇 조작에 의존하기 때문에 확장하기 어렵습니다. 우리는 배포 전까지 완전히 가상으로 유지되는 디지털 생성 파이프라인 GRAIL을 제안합니다. GRAIL은 비디오 월드 모델을 3D 에셋과 시뮬레이터용 장면에 고정해, 물리 환경을 다시 만들거나 로봇을 원격 조작하지 않고도 상호작용을 합성합니다. GRAIL은 통제되지 않은 실제 환경 비디오를 재구성하는 대신, 물체 형상, 카메라 파라미터, 미터 단위 척도, 환경 깊이, 로봇 비율에 맞춘 캐릭터가 비디오 생성 전에 이미 알려져 있고 재구성 때 다시 쓰이는, 완전히 지정된 3D 구성에서 출발합니다. 이 특권적 설정은 4D 복원을 더 잘 조건화하여, 모델 기반 물체 추적, 인체 동작 추정, 상호작용 인지 최적화가 깊이 모호성과 형태 불일치를 줄인 미터 단위 4D 사람-물체 상호작용(HOI) 궤적을 재구성할 수 있게 합니다. 복원한 동작을 휴머노이드 로봇에 리타기팅하고, 상호 보완적인 범용 작업 추적기를 학습합니다. 조작을 위한 물체 인지 잠재 어댑터와 지형 통과를 위한 장면 인지 추적기입니다. GRAIL은 집기, 전신 조작, 앉기, 지형 통과를 아우르는 20,000개 이상의 시퀀스를 생성합니다. GRAIL이 생성한 데이터만 사용해 Sim-to-Real 파이프라인으로 자기중심 시점 시각 정책을 학습하고 Unitree G1 휴머노이드에 배포하여, 실제 환경에서 다양한 물체 집기 84%, 계단 오르기 90%의 성공률을 달성했습니다.

링크

arXiv 2606.05160: https://arxiv.org/abs/2606.05160
PDF: https://arxiv.org/pdf/2606.05160
코드: https://github.com/NVlabs/GRAIL
프로젝트 페이지: https://research.nvidia.com/labs/dair/grail/
데이터셋: https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Locomanipulation-GRAIL