orcs
NVIDIA의 휴머노이드 제어기 SONIC을 LoRA로 새 작업에 적응시키는 도구, 시뮬레이션 G1용
라이선스
- code and documentation: BSD 3-Clause
- EgoHTR data: CC BY 4.0
라이선스가 나뉘어 있습니다. orcs 코드와 문서는 BSD-3-Clause입니다. Hugging Face(lkrajan/orcs)에 공개된 체크포인트는 NVIDIA의 SONIC 가중치를 기반으로 하므로 NVIDIA Open Model License를 따릅니다. SMPL 작업에만 필요한 SMPL-X 신체 모델 파일은 포함되어 있지 않으며, 등록 후 막스 플랑크 연구소가 별도로 라이선스를 부여합니다. EgoHTR 데이터는 CC BY 4.0입니다. 2026-10-30 확인.
개요
orcs는 휴머노이드 로봇 제어기를 학습시키는 툴킷으로, 서던캘리포니아대학교 Dynamic Robotics and Control Laboratory(DRCL)의 Lokesh Krishna가 만들었습니다. 작업마다 새 제어기를 학습시키는 대신, NVIDIA가 Unitree G1용으로 만든 SONIC 전신 제어기를 고정한 채로 그 위에 작은 저랭크(LoRA) 어댑터만 강화학습으로 학습시킵니다. 제공되는 작업은 높이 스캔을 이용한 연석과 험한 지형 보행, 날아오는 공 피하기, 이동하면서 물체 나르기입니다. 사람의 동작 기록을 로봇에 리타기팅하는 기능도 있으며, 2026년 10월 29일의 v0.1.1 릴리스는 실제 사람 기록을 바탕으로 한 바위 오르기와 창문 넘기, 그리고 특정 프레임에 메모를 남기면 코딩 에이전트가 동작을 수정하는 검토 도구를 추가했습니다. 학습은 MuJoCo Warp 위의 mjlab에서 이루어집니다. 코드는 BSD-3-Clause로 GitHub에, 학습된 체크포인트는 Hugging Face에 있습니다. orcs는 저자들의 ViBe 논문을 위해 작성되었습니다.
orcs의 모든 작업은 같은 방식을 따릅니다. Unitree G1에서 이미 사람 동작을 추종하는 SONIC 제어기는 고정됩니다. 여기에 0으로 초기화한 LoRA 어댑터를 붙이므로 학습 전 정책은 SONIC과 똑같이 동작하고, 이후 PPO는 어댑터만 갱신합니다. 어댑터는 기본 제어기에 없던 작업 정보를 받습니다. 지각 보행(PerLoco)에서는 지형 높이 스캔, Dodge에서는 공의 상태, 전방향 물체 이동 조작(UOLM)에서는 물체의 상태입니다. critic은 시뮬레이터의 전체 상태를 봅니다.
이들은 특권 정책, 이른바 ‘오라클’ 정책으로, 실제 로봇은 할 수 없는 방식으로 시뮬레이터에서 실제 값을 바로 읽습니다. 의도된 설계입니다. 프로젝트 자체 설명에 따르면 먼저 오라클을 학습시키고, 이를 탑재 센서로 동작하는 정책으로 증류하는 것은 다음 단계이지 이미 제공되는 기능이 아닙니다. 여기의 정책은 시뮬레이션 안에 머뭅니다.
참조 동작의 출처는 세 가지입니다. NVIDIA GRAIL의 지형·동작 클립, OmniRetarget의 지형과 동작, 그리고 v0.1.1에서 추가된, 사람들이 실제 지형을 건너는 모습을 기록한 EgoHTR 데이터셋입니다. SMPL 형식의 사람 동작은 두 단계로 리타기팅됩니다(가이드). 빠른 기구학적 처리로 시작 자세를 얻은 뒤, 어댑터 학습으로 로봇이 실제로 수행할 수 있는 동작으로 바꿉니다. EgoHTR 클립에는 에이전트 지원 경로가 있습니다(가이드). Viser로 만든 브라우저 뷰어가 스캔한 지형 위에서 G1 클립을 재생하고, 아무 프레임에나 메모를 저장하면 저장소의 지침을 따르는 코딩 에이전트가 UMR을 통해 동작을 수정합니다. 그런 다음 새 버전을 승인된 버전과 비교해 결정합니다.
설치에는 uv와 Git LFS, Python 3.11을 사용합니다. 가벼운 설치는 SMPL 작업을 건너뛰고, 전체 설치에는 등록 후 직접 내려받는 인체 모델 파일이 필요합니다(지각 보행 가이드). play 명령은 공개된 다섯 개 체크포인트 중 하나를 실행하며 처음 사용할 때 내려받아 검증합니다. 학습하지 않은 어댑터를 실행해 SONIC을 그대로 재현하는지 확인할 수도 있습니다. train 명령은 수천 대의 시뮬레이션 로봇을 병렬로 써서 작업의 어댑터를 학습시킵니다.
중요한 이유
SONIC 같은 대형 동작 추종 제어기는 휴머노이드를 사람처럼 움직이게 하지만 주변을 보지 못하고 다시 학습시키기도 비쌉니다. orcs는 기술을 하나씩 저렴하게 더하는 방법을 보여 줍니다. 기본 모델은 그대로 두고 작업용 작은 어댑터만 학습시키므로 기본 모델의 자연스러운 움직임이 유지됩니다. 실제 값 대신 카메라를 쓰는 같은 방식이 ViBe 논문에서 실제 G1에 적용되었습니다. 많은 연구실이 보유한 로봇을 위한, 공개 체크포인트가 딸린 오픈 코드이며, 에이전트 지원 검토 과정은 리타기팅된 동작 데이터를 정리하는 데 코딩 에이전트를 쓰는 초기의 실용적인 사례입니다.
해결하는 문제
범용 휴머노이드 제어기를 지각한 연석 위로 올라서기 같은 특정 작업을 해내는 제어기로 바꾸려면 보통 새 정책을 학습시켜야 하고, 기본 모델이 익힌 사람다운 움직임을 잃게 됩니다. orcs는 대신 기존 제어기를 적응시키고, 실제 지형에서 기록한 사람 동작을 G1의 학습 참조로 바꾸는 리타기팅 도구를 제공합니다.
핵심 요점
- 고정된 NVIDIA SONIC 전신 제어기를 LoRA 어댑터로 적응시키며, PPO는 어댑터만 학습
- 시뮬레이션 Unitree G1에서 연석·바위·창문을 넘는 지각 보행, 피구, 전방향 물체 이동 조작 제공
- 사람 SMPL 동작의 2단계 리타기팅과, 브라우저 뷰어에서 EgoHTR 클립을 다루는 에이전트 지원 검토 과정
- 정책은 특권 정책으로, 시뮬레이터의 실제 상태를 사용하며 아직 실제 로봇용이 아님
- 코드는 BSD-3-Clause, 공개된 다섯 개 체크포인트는 SONIC 기반이라 NVIDIA Open Model License
대상
- 대형 휴머노이드 동작 추종 제어기를 새 작업에 적응시키는 연구자
- Unitree G1 사용자와 SONIC 또는 mjlab을 기반으로 작업하는 연구실
- 실제 지형에서의 사람 모션 캡처를 휴머노이드로 리타기팅하는 사람
- 나중에 증류할 특권 교사 정책을 학습시키는 로봇 학습 연구자
한계
- 시뮬레이션 전용: 정책이 실제 상태를 읽으며, 배포 가능한 학생 정책으로의 증류는 계획되어 있으나 공개되지 않음
- Unitree G1용으로 SONIC 체크포인트에 묶여 있어, 다른 로봇에는 다른 기본 제어기가 필요
- 공개 체크포인트는 BSD-3-Clause가 아니라 NVIDIA Open Model License이며, SMPL 작업에는 별도 라이선스의 SMPL-X 인체 모델이 필요
- NVIDIA GPU와 고정 버전의 mjlab, MuJoCo, MuJoCo Warp가 필요하고, 의존성을 GitHub SSH로 받으므로 SSH 키가 등록된 GitHub 계정이 필요
- 버전 0.1의 초기 1인 연구 코드이며, 에이전트 지원 리타기팅은 G1의 EgoHTR 클립만 지원