ASAP

델타 행동 모델을 사용한 민첩한 휴머노이드 전신 기술의 Sim-to-real 프레임워크

라이선스

MIT

개요

ASAP(Aligning Simulation and Real-World Physics)은 시뮬레이션에서 실제 휴머노이드 로봇으로 민첩한 전신 기술을 전이하기 위한 2단계 프레임워크입니다. 훈련된 정책이 실제 하드웨어에서 실패하게 만드는 시뮬레이션 물리학과 실세계 물리학 간의 근본적인 역학 불일치 문제를 해결합니다.

이 프레임워크는 시뮬레이션과 실세계 간의 잔여 물리적 차이를 명시적으로 포착하는 새로운 델타 행동 모델을 도입합니다. 파이프라인은 네 단계로 구성됩니다: 단계 기반 모션 추적 사전 훈련, 델타 행동 모델 훈련, 델타 행동 모델을 사용한 정책 파인튜닝, 실세계 배포.

ASAP는 IsaacGym, IsaacSim, Genesis 시뮬레이터에 걸쳐 훈련을 가능하게 하는 다중 시뮬레이터 프레임워크인 HumanoidVerse 위에 구축됩니다. 인간 모션 캡처 데이터에서 휴머노이드 로봇으로의 모션 리타겟팅을 위해 SMPL 바디 모델을 사용하며, Unitree G1이 킥, 점프, 댄스 동작, 운동 동작 등의 매우 역동적인 기술을 수행할 수 있게 합니다.

Carnegie Mellon University와 NVIDIA의 협력으로 개발되었습니다. RSS 2025에서 채택되었습니다.

ASAP (Aligning Simulation and Real-World Physics)는 Carnegie Mellon University에서 NVIDIA와 협력하여 개발한 시뮬레이션-실제 전이(sim-to-real transfer) 프레임워크로, RSS 2025에 채택되었습니다. 이 프레임워크는 Unitree G1 휴머노이드 로봇이 킥, 점프, 댄스 동작, 운동 회복 등 고도로 역동적인 전신 기술을 수행할 수 있게 하며, 시뮬레이션에서 실제 하드웨어로 뛰어난 충실도로 직접 전이됩니다.

핵심 혁신은 델타 액션 모델(delta action model)로, 시뮬레이션과 실제 세계 간의 물리적 차이를 명시적으로 포착하는 학습된 잔차(residual)입니다. 시뮬레이터를 현실에 완벽하게 맞추려 하는 대신, ASAP는 무엇이 다른지를 학습하고 이를 보상합니다. 훈련 파이프라인은 네 단계로 진행됩니다: 위상 기반 모션 트래킹 사전 훈련, 델타 액션 모델 훈련, 델타 모델을 활용한 정책 미세 조정, 그리고 ONNX 내보내기를 통한 실제 환경 배포입니다.

ASAP는 IsaacGym, IsaacSim, Genesis를 지원하는 다중 시뮬레이터 훈련 프레임워크인 HumanoidVerse 위에 구축되었습니다. AMASS 데이터셋의 인간 모션 캡처 데이터를 로봇의 형태학에 전이하기 위해 SMPL 신체 모델 리타겟팅을 사용하여 광범위한 민첩한 동작 레퍼토리를 구현합니다. 전체 훈련 파이프라인은 NVIDIA GPU에서 실행되며 실험 추적을 위한 Weights & Biases 통합을 제공합니다.

이 프로젝트는 시뮬레이션에서 전이된 민첩한 휴머노이드 보행의 가장 인상적인 시연 중 하나로, G1 로봇이 이전에는 안정적인 sim-to-real 전이가 너무 역동적이라고 여겨졌던 동작들을 수행합니다.

중요한 이유

ASAP는 휴머노이드 로봇의 Sim-to-real 전이에서 중요한 발전을 나타냅니다. 시뮬레이션과 현실 사이의 물리적 격차를 포착하는 명시적 델타 행동 모델을 학습함으로써, 이전에 시뮬레이션에서 실제로 안정적으로 전이하는 것이 불가능했던 매우 역동적이고 민첩한 동작을 휴머노이드 로봇이 수행할 수 있게 합니다.

해결하는 문제

물리 시뮬레이션과 실세계 로봇 하드웨어 사이의 역학 격차 해소, 이것이 민첩하게 학습된 정책이 실제 휴머노이드 로봇에서 작동하는 것을 방지하는 주요 병목

핵심 요점

• 델타 행동 모델이 Sim-to-real 물리적 차이를 명시적으로 포착
• 실제 하드웨어에서 킥, 점프, 댄스 동작을 포함한 매우 민첩한 휴머노이드 동작 가능
• IsaacGym, IsaacSim, Genesis 시뮬레이터를 지원하는 HumanoidVerse 위에 구축
• 인간 모션 캡처에서 모든 휴머노이드 로봇으로의 SMPL 기반 모션 리타겟팅 사용

대상

• 휴머노이드 로봇공학 연구자
• Sim-to-real 전이 연구자
• 강화 학습 실무자
• 모션 제어 엔지니어

한계

• 주로 Unitree G1에서 시연됨
• IsaacGym 지원이 있는 NVIDIA GPU 필요
• 훈련을 위해 AMASS 모션 캡처 데이터셋 필요
• 실세계 배포에 ROS 2와 Unitree SDK 통합 필요