HALO
Unitree G1 휴머노이드를 위한 Apple의 자율 스택, 합성 가정 데이터만으로 학습
라이선스
Apple 샘플 코드 라이선스(허용적, 특허 부여 없음)
Apple 자체의 샘플 코드 라이선스로, OSI가 승인한 라이선스가 아닙니다. 누구나 코드를 소스나 바이너리 형태로, 수정 여부와 관계없이 사용, 수정, 재배포할 수 있으며, 수정하지 않은 사본에는 Apple의 고지를 유지해야 합니다. 특허권은 부여하지 않으며, Apple의 이름과 상표를 파생 저작물 홍보에 사용할 수 없습니다. HALO가 내려받는 모델(Qwen, Kimodo, Kimodo가 사용하는 Llama 3 모델)과 Unitree G1 로봇 기술 파일은 각자의 라이선스를 따르며, Llama 3 모델은 Hugging Face에서 접근 승인이 필요합니다.
개요
HALO(Perceptive Humanoid Motion from Simulation)는 Apple 머신러닝 연구 그룹이 만든 휴머노이드 로봇 자율 시스템으로, 2026년 11월 논문과 함께 공개되었습니다. 카메라 이미지와 음성 요청으로 Unitree G1을 움직여 의자와 소파에 앉고, 사람과 지정한 물체에게 걸어가고, 반쯤 열린 문을 옆걸음으로 지나가고, 테이블 아래로 웅크리거나 기어서 통과하고, 상자를 밉니다. 카메라 기반 기술은 절차적으로 생성한 주택 1,000채에서 렌더링한 합성 데이터로 학습했으며, 논문은 로봇이 한 번도 본 적 없는 실제 환경 6곳에서 360번 시도해 91%의 성공률을 보고합니다. 저장소에는 데이터 파이프라인, 학습된 두 모델의 학습 코드, MuJoCo와 실제 로봇 배포가 들어 있습니다. 학습된 가중치와 데이터셋은 포함되어 있지 않습니다.
HALO는 로봇에서 세 개의 층으로 동작합니다. 오케스트레이터는 기성 비전-언어 모델로, 약 2초마다 조작자의 요청과 카메라 이미지를 하위 작업으로 바꿉니다. 동작 생성기는 RGB 이미지와 현재 하위 작업으로부터 5초 분량의 전신 동작, 즉 값 36개로 된 프레임 150개를 초당 약 세 번 계획합니다. 고정된 Qwen3.5-2B 비전 인코더와 플로 매칭으로 학습한 디퓨전 트랜스포머 디코더를 결합하며, 각 계획의 처음 0.5초만 실행에 반영합니다. 트래커는 깊이 카메라와 로봇 자신의 관절 및 IMU 측정값을 사용해 50Hz로 그 계획을 따라가며, G1의 관절 29개에 목표값을 출력합니다. Apple의 로봇에서는 생성기와 오케스트레이터가 등 쪽 케이스에 실은 Mac mini에서, 트래커는 G1에 내장된 Jetson Orin NX에서 실행됩니다.
핵심 작업은 데이터 파이프라인에 있습니다. NVIDIA의 Kimodo가 텍스트 프롬프트, 경유점, 최종 자세로부터 G1 동작을 만들고, 33가지 기하학 검사로 여러 후보 중 가장 좋은 것을 남깁니다. Infinigen이 주택을 만들고, 각 동작은 아무것과도 충돌하지 않는 위치에 배치되며, Isaac Lab이 머리의 어안 카메라에 보일 장면을 렌더링합니다. 이때 모션 블러, 저조도, 색조 변화 등 여덟 가지 시각적 도메인 랜덤화를 적용합니다.
트래커는 Isaac Lab에서 세 단계로 학습합니다. 시뮬레이터의 전체 상태를 보는 PPO 전문가, 탑재 센서만 보는 하나의 학생 정책으로의 증류, 그리고 전문가마다 크리틱을 하나씩 두는 PPO 미세 조정입니다. ONNX로 내보낸 뒤 MuJoCo에서 sim-to-sim 테스트용으로는 Python으로, 로봇에서는 TensorRT를 쓰는 실시간 C++로 배포합니다. 시스템 실행 스크립트는 전체 루프를 MuJoCo나 G1에서 실행합니다. Apple의 프로젝트 페이지에는 데모 영상, 실제 시도 갤러리, 3D로 재생할 수 있는 기록된 실행이 있고, 방법은 논문에 있습니다.
중요한 이유
휴머노이드 기술 데이터는 대부분 사람이 원격 조작이나 모션 캡처로 모으며, 데이터 한 시간에 대략 사람의 작업 한 시간이 듭니다. HALO는 다른 길을 보여 줍니다. 말뭉치를 전부 시뮬레이션에서 만들어 인력이 아니라 연산량에 따라 늘리고, G1을 제로샷으로 실제 주택 안에서 움직입니다. 또한 단일 정책이 아니라 끝까지 읽을 수 있는 완전한 파이프라인입니다. 데이터 생성, 생성기 학습, 트래커 학습, 실제 로봇 배포가 한 저장소에 있어 G1을 가진 연구실은 모든 단계를 살펴보거나 다시 만들 수 있습니다. ASAP, Holosoma, GEAR-SONIC 같은 공개 휴머노이드 제어 프로젝트는 주로 동작을 추종하거나 실행하는 법을 배우는 데 집중합니다. HALO는 트래커에, 처음 보는 방에서 어떤 동작을 할지 정하는 카메라 기반 층을 결합합니다.
해결하는 문제
평범한 가정에서 일하는 휴머노이드는 픽셀과 음성 요청을 관절 명령으로 바꿔야 하며, 이 대응을 배우려면 시각, 언어, 동작을 짝지은 데이터가 필요하지만 그런 데이터는 대규모로 존재하지 않습니다. 원격 조작으로 모으는 것은 느리고 비쌉니다. HALO는 절차적으로 만든 주택에서 이런 짝 데이터를 합성하고, 이를 이용해 미세 조정 없이 실제 방으로 옮겨 갈 수 있는 플래너와 트래커를 학습합니다.
핵심 요점
- 탑재된 세 층: VLM 오케스트레이터, 약 3Hz의 동작 생성기, 50Hz의 깊이 기반 트래커
- 카메라 기반 기술은 절차적으로 생성한 주택 1,000채의 합성 데이터로 학습하며, 학습에 실제 주택은 쓰지 않음
- 논문에 따르면 학습에서 보지 못한 실제 환경 6곳에서 360번 시도해 91% 성공
- 데이터 파이프라인, 두 모델의 학습, MuJoCo와 실제 Unitree G1 배포를 포함
- 학습된 가중치나 데이터셋은 없음: 데이터를 직접 만들고 두 모델을 직접 학습해야 함
대상
- Unitree G1을 보유하고 지각 기반 이동과 전신 기술을 연구하는 연구실
- 합성 데이터와 시뮬레이션에서 실제 로봇으로의 제로샷 전이를 연구하는 연구자
- 휴머노이드 동작 트래커를 만들며 Isaac Lab에서 검증된 세 단계 학습 레시피를 찾는 팀
- Jetson에서 TensorRT로 휴머노이드를 실시간 배포하는 실제 사례를 찾는 엔지니어
한계
- 학습된 생성기와 트래커 가중치, 데이터셋이 공개되지 않아 두 모델을 학습하기 전에는 아무것도 실행되지 않음
- 논문의 규모는 대부분에게 닿기 어려움: 말뭉치는 H100 GPU 250개로 생성했고 생성기는 B200 GPU 64개로 학습함
- 데이터 파이프라인은 '의자에 앉기' 작업의 학습 데이터만 만들며, 다른 작업에는 저장소에 없는 데이터가 필요함
- 멀티태스크 오케스트레이터는 MLX에서 실행되므로 메모리 32GB 이상의 Apple 실리콘 Mac이 필요함
- 관절 29개의 Unitree G1 한 기종만을 위해 만들어졌으며, Apple 자체 기체를 시스템 식별한 모델을 사용함
- 표준 오픈소스 라이선스가 아닌 Apple 자체의 허용적 라이선스로 공개되었고, 특허권은 부여하지 않음