GEAR-SONIC

Unitree G1용 NVIDIA 전신 제어 컨트롤러로, 모든 인간 동작을 추종하도록 학습됨

라이선스

Apache 2.0

라이선스가 나뉘어 있습니다. 코드: Apache-2.0. 공개된 모든 모델 가중치: NVIDIA Open Model License로, 상업적 사용과 파생 모델을 허용하지만 저작자 표시와 NVIDIA의 Trustworthy AI 조건 준수가 요구됩니다. 주요 학습 데이터셋인 BONES-SEED: BONES-SEED 라이선스로, 비영리 학술 사용자와 연 매출 100만 달러 미만의 기업에만 부여되며, 그 외에는 Bones Studio의 상업용 라이선스가 필요합니다. 2026-10-16 확인.

개요

GEAR-SONIC은 NVIDIA GEAR 연구실이 개발한 휴머노이드 로봇용 전신 제어 컨트롤러로, 학습 코드, C++ 배포 스택, 체크포인트와 함께 GR00T-WholeBodyControl 저장소에 공개되었습니다. 기술마다 정책을 하나씩 학습하는 대신, 모션 캡처를 지도 신호로 삼아 인간 동작을 추종하는 단일 정책을 학습하고 이를 대규모로 확장합니다. 2026년 Science Robotics에 게재된 논문은 700시간 분량의 모션 캡처에서 얻은 100M개 이상의 프레임으로 네트워크를 1.2M에서 42M 파라미터까지 키웠습니다. 그 결과 Unitree G1에서 걷기, 달리기, 무릎 꿇기, 기어가기, 일어서기가 가능해졌습니다. 키보드나 게임패드로 조종하는 기구학 플래너, VR 헤드셋, 비전-언어-행동 모델 등 어떤 입력이든 동일한 모션 토큰으로 변환되므로, 하나의 컨트롤러가 이 모두를 처리합니다. 학습은 Isaac Lab에서, 시뮬레이션 검증은 MuJoCo에서 수행하며, 배포는 G1에 탑재된 Jetson Orin에서 TensorRT로 실행됩니다. 코드는 Apache-2.0, 가중치는 NVIDIA Open Model License로 제공됩니다.

SONIC은 휴머노이드 로봇 제어를 모션 추적 문제로 다룹니다. 학습 중 정책은 참조 동작, 즉 로봇에 리타게팅된 인간 동작 클립의 짧은 구간을 입력받고, 시뮬레이션에서 이를 따라가면 보상을 받습니다. 목표가 수작업으로 작성한 보상이 아니라 모션 캡처에서 나오므로, 기술을 추가한다는 것은 곧 데이터를 추가하는 것을 뜻합니다. 여러 인코더가 로봇 관절 궤적, SMPL 인체 자세, VR 원격 조작 키포인트 등 서로 다른 종류의 참조를 공유된 64차원 토큰으로 매핑하고, 하나의 디코더가 이 토큰을 G1의 29개 관절에 대한 목표값으로 50 Hz로 변환합니다.

저장소는 전체 과정을 다룹니다. gear_sonic 패키지는 Isaac Lab에서 PPO로 학습하며, BONES-SEED 모션 데이터셋(142,000개 동작, 약 288시간, G1에 리타게팅 완료)으로 처음부터 학습하거나 공개된 체크포인트를 파인튜닝할 수 있습니다. 저자들은 처음부터 학습할 때 64개 이상의 GPU를 권장하며, 8-GPU 노드 하나로도 가능하지만 훨씬 느립니다. gear_sonic_deploy 패키지는 내보낸 ONNX 모델을 TensorRT를 통해 데스크톱 GPU나 로봇의 Jetson AGX Orin 또는 Thor에서 실행하는 C++ 스택으로, 정책을 실제 하드웨어에 올리기 전에 시험해 볼 수 있는 MuJoCo sim-to-sim 모드를 제공합니다. 다른 로봇을 추가하는 방법을 다룬 가이드도 있으며, Unitree H2를 실제 예시로 사용합니다.

컨트롤러 위에는 이를 구동하는 여러 방식이 얹혀 있습니다. 기구학 플래너는 키보드나 게임패드 명령으로부터 여러 스타일의 걷기, 달리기, 웅크리기, 기어가기 동작을 생성합니다. PICO VR 헤드셋이나 NVIDIA의 IsaacTeleop은 원격 조작과 데이터 수집을 위해 조작자의 전신 동작을 스트리밍합니다. 문서화된 워크플로는 원격 조작 시연 데이터를 수집해 GR00T N1.7을 파인튜닝하고, SONIC을 하위 계층에 두고 그 결과를 실행합니다. 언어 모델이 무엇을 할지 결정하고, 균형은 SONIC이 담당합니다.

Hugging Face에는 G1용 체크포인트 3개가 공개되어 있습니다. 원본 컨트롤러, 200 ms 대신 80 ms 앞을 내다보는 저지연 원격 조작 모델, 그리고 손목 자세 증강으로 학습해 원격 조작이 더 안정적인 SONIC v1.1입니다. 같은 저장소에는 GR00T N1.5와 N1.6의 하위 계층으로 쓰였던 NVIDIA의 이전 전신 제어 시스템인 Decoupled WBC와, 실시간 동작 생성기 MotionBricks의 프리뷰도 포함되어 있습니다.

중요한 이유

대부분의 휴머노이드 로봇 컨트롤러는 몇 가지 행동만을 위해 학습된 작은 정책이며, 행동마다 고유한 보상 항을 가집니다. SONIC은 언어 및 비전 모델의 바탕이 된 스케일링 방식이 휴머노이드 로봇의 저수준 제어에도 통한다는, 지금까지 가장 분명한 공개 증거입니다. 모션 데이터를 늘리고, 네트워크를 키우고, 연산량을 늘릴수록 추적 성능이 꾸준히 좋아졌고, 정책이 한 번도 본 적 없는 동작도 더 잘 처리했습니다. 학습 코드, 실제 로봇 배포 스택, 원격 조작 도구까지 엔드투엔드로 공개되어 있으므로, Unitree G1을 보유한 연구실은 보행 제어를 처음부터 구축하는 대신 자체 플래너나 VLA 아래의 모터 계층으로 이를 활용할 수 있습니다.

해결하는 문제

휴머노이드 로봇이 다양한 행동에서 자연스럽게 움직이게 하려면 보통 기술마다 별도의 컨트롤러나 보상을 설계해야 하며, 이 컨트롤러들은 인터페이스를 공유하지 않기 때문에 플래너, 원격 조작자, 학습된 정책이 각자 별도의 컨트롤러를 필요로 합니다. SONIC은 이를 대규모 모션 캡처로 학습한 단일 모션 추적 정책으로 대체하고, 모든 종류의 명령에 그 정책으로 이어지는 하나의 토큰 인터페이스를 제공합니다.

핵심 요점

단일 정책이 Unitree G1의 29개 관절에서 50 Hz로 인간 동작을 추종하며, 걷기, 달리기, 무릎 꿇기, 기어가기, 일어서기를 모두 지원
논문은 700시간 분량의 모션 캡처로 네트워크를 1.2M에서 42M 파라미터까지 확장했으며, 데이터와 연산량이 늘수록 추적 성능이 계속 향상됨을 확인
기구학 플래너, VR 헤드셋, VLA 모델 모두 동일한 64차원 모션 토큰을 통해 구동
엔드투엔드 공개: Isaac Lab 학습, G1의 Jetson용 C++ TensorRT 배포 스택, MuJoCo sim-to-sim 검증, VR 원격 조작
Hugging Face에 체크포인트 3종 공개: 원본 컨트롤러, 저지연 원격 조작 모델, SONIC v1.1
코드는 Apache-2.0, 가중치는 상업적 사용을 허용하는 NVIDIA Open Model License이며, BONES-SEED 학습 데이터에는 더 제한적인 별도 라이선스가 적용됨

대상

기술별 정책이 아닌 범용 전신 제어 컨트롤러를 원하는, Unitree G1을 보유한 연구실과 기업
모션 캡처로 휴머노이드 로봇 컨트롤러를 학습하며, 대규모로 확장된 베이스라인에서 출발하고 싶은 연구자
휴머노이드 로봇 원격 조작 데이터를 수집하는 팀, 또는 저수준 모터 계층이 필요한 VLA를 운용하는 팀
모션 추적 컨트롤러를 다른 휴머노이드 로봇으로 이식하는 연구자

한계

공개된 체크포인트는 Unitree G1 전용이며, 다른 로봇에는 리타게팅된 모션 데이터와 전체 학습이 필요함(H2를 예로 문서화됨)
처음부터 학습하려면 클러스터가 필요: 저자들은 64개 이상의 GPU를 권장하며, Isaac Lab 학습 환경에는 CUDA 12 지원 GPU(L40 권장)가 필요
배포에는 플랫폼별로 특정 버전의 TensorRT가 필요하며, G1에 탑재된 Orin에서는 JetPack 6로 재플래싱해야 함
BONES-SEED 학습 데이터는 학술 사용자와 연 매출 $1M 미만 기업에만 라이선스가 부여되며, 그 외에는 이 데이터로 재학습하려면 상업용 라이선스가 필요
실제 로봇에서 사용할 때는 휴머노이드 로봇 특유의 위험이 따르므로, 문서에서는 충분한 안전 구역을 확보하고 조작자가 언제든 로봇을 정지할 수 있도록 대기할 것을 요구