Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

PAC-MAN

탑재된 깊이 정보만으로 날아오는 공을 피하는 Unitree G1

라이선스

MIT

코드에는 MIT가 적용됩니다. 2026-09-10 확인: Unitree G1 모델 파일과 리타겟팅된 AMP 모션 클립은 각 업스트림 소스에서 파생되었으며 그 조건을 따릅니다. 클립은 NVIDIA SEED 모션 캡처 데이터셋에서 리타겟팅되어 연구 목적으로 이곳에 재배포된 것이므로, 모션 데이터의 상업적 사용에는 원본 데이터셋의 라이선스가 적용됩니다.

개요

PAC-MAN은 머리에 장착한 깊이 카메라 하나만으로 날아오는 공을 피하는 Unitree G1 휴머노이드를 위한 학습 파이프라인이자 벤치마크이며 하드웨어 배포 스택입니다. 안전성은 실행 시 필터로 강제되는 것이 아니라, 몸의 모든 링크에 대한 제어 배리어 함수 보상으로 학습 단계에서 빚어지고, 사람의 회피 동작을 리타기팅한 적대적 모션 사전 분포가 그렇게 얻어진 반사 동작을 사람다운 쪽으로 정돈합니다. 배포되는 정책이 위협에 대해 보는 것은 희소한 16×9 프레임 스택으로 풀링된 공만 남긴 마스크 깊이뿐인데, 이는 실제 로봇에서 EfficientTAM 분할기가 만들어내는 표현 그대로이므로 Sim-to-Real 간극은 지각 계층으로 좁혀집니다. 전이는 제로샷으로 성립해, 손으로 던진 20구 중 19구를 피했고 넘어짐은 없었습니다.

배리어 구조에는 두 가지 형태가 있고, 저장소는 그 차이를 구현 세부가 아니라 연구 결과로 다룹니다. Link-CBF는 로봇의 각 링크마다 여유 배리어를 하나씩 두고 가장 빡빡한 링크에서의 배리어 조건 위반을 벌합니다. 이는 학습 보상을 통해서만 작용하며 실행 시 강제할 것이 아무것도 없고, 체크포인트를 그대로 배포할 수 있는 이유가 바로 여기에 있습니다. Joint-CBF는 목표 관절 속도를 안전한 반공간으로 사영하는 방식으로, 공의 상태가 정확할 때 더 강하지만 학습 지도로만 쓰면 고정 카메라 아래에서 성능이 떨어지고, 공을 추적하는 짐벌이나 특권적 실행 시 사영으로 회복됩니다. 그 특권 필터는 시뮬레이션 상한이지 하드웨어 구성이 아닙니다.

학습은 MuJoCo Warp 위의 mjlab에서 돌아가며, AMP 구현은 AMP_mjlab에서, PPO는 rsl_rl에서 가져왔습니다. 논문 실험 표의 각 칸마다 실행 스크립트가 하나씩 들어 있어 절제 실험 표를 칸 단위로 재현할 수 있습니다. deploy/는 Python 3.8 기반의 독립된 uv 프로젝트로, 로컬 UDP 위에서 세 프로세스를 돌립니다. EfficientTAM으로 공을 분할하는 ZED 카메라 노드, 보행과 회피를 자동 전환하는 ONNX 정책, 그리고 Unitree DDS 하드웨어 브리지입니다. 배포된 두 체크포인트가 저장소에 커밋되어 있고, CBF 항과 전방위 투구, 짐벌 조준을 다루는 pytest 스위트도 있습니다.

중요한 이유

휴머노이드의 안전 계층은 대개 특권 상태를 전제로 시연되고, 로봇이 스스로 위험을 봐야 하는 순간 그 보증을 조용히 잃습니다. PAC-MAN은 배리어 구조를 학습 보상 안에 넣고, 정책에는 탑재 카메라가 만들어낼 수 있는 것만 주며, 그 결과를 실제 하드웨어에서 공개합니다. 휴머노이드 강화학습 공개로서도 이례적으로 완결적입니다. 대부분은 학습 코드에서 멈추지만, 이 공개는 벤치마크와 실제로 배포된 ONNX 체크포인트, 그리고 그것을 돌린 카메라·DDS 브리지까지 함께 담고 있습니다.

해결하는 문제

휴머노이드의 전신 안전성은 위험물의 위치를 제어기에 건네주면 쉽게 보여줄 수 있지만, 로봇이 그것을 스스로 지각해야 하면 지키기 어려워집니다. PAC-MAN은 로봇이 실제로 갖게 될 열화된 관측을 상대로 학습함으로써 그 간극을 메우고, 벤치마크가 재는 것과 하드웨어가 돌리는 것을 일치시킵니다.

핵심 요점

  • Unitree G1에 제로샷 배포: 손으로 던진 20구 중 19구를 피했고 넘어짐 없이 지각은 전부 로봇 위에서 처리됐다
  • 정책이 위협에 대해 갖는 유일한 시야는 희소한 16×9 프레임 스택으로 풀링된 공만 남긴 마스크 깊이이며, 실제 로봇에서 EfficientTAM이 내놓는 것과 같다
  • Link-CBF는 학습 보상만으로 안전성을 빚고 실행 시 강제할 것이 없다. 체크포인트가 미세조정 없이 전이되는 이유가 이것이다
  • 공의 상태가 정확할 때는 Joint-CBF가 더 강한 배리어지만 고정 카메라에서는 성능이 떨어지며, 추적 짐벌이나 특권 필터가 이를 되돌린다
  • 숙이기, 옆으로 비키기, 도약은 모두 배리어 보상과 모션 사전 분포에서 창발한 것으로, 회피 동작 가운데 스크립트로 짜인 것은 하나도 없다
  • deploy/는 완결된 하드웨어 스택이다 — ZED 노드, EfficientTAM 분할, 보행·회피 전환이 있는 ONNX 정책, Unitree DDS 브리지 — 배포된 체크포인트까지 커밋되어 있다
  • 정책이 분할 마스크된 깊이만 보기 때문에, 같은 가중치가 학습에 한 번도 나오지 않은 공도 피한다

대상

  • 휴머노이드 전신 제어와 안전 강화학습 연구자
  • 완결된 Sim-to-Real 전이 경로를 찾는 Unitree G1 사용자
  • 보상 설계의 참조 구현이 필요한 제어 배리어 함수 연구자
  • 깊이 정보만 쓰는, 지각이 루프 안에 있는 정책을 연구하는 실무자

한계

  • 위협 모델은 하나뿐이다. 서 있는 로봇에게 던져지는 공. 일반적인 장애물 회피나 어질러진 공간에서의 이동은 다루지 않는다
  • +filter 구성은 특권적인 공 상태를 필요로 하는 시뮬레이션 전용 상한이며, 하드웨어에서 돌릴 수 있는 것이 아니다
  • 학습에는 Linux x86_64와 NVIDIA GPU가 필요하고, 하드웨어 경로에는 추가로 Unitree G1, ZED 카메라, 빌드된 Unitree SDK가 있어야 한다
  • AMP 사전 분포가 기대는 리타기팅된 동작은 약 100초 분량으로, 주장되는 회피 행동의 폭에 비하면 작은 말뭉치다
  • 동작 클립은 NVIDIA SEED 모션 캡처 데이터셋에서 리타기팅한 것으로 해당 데이터셋의 조건을 따르며, 저장소는 연구 목적으로만 재배포한다
  • 배포 의존성 두 개가 저자 본인의 포크를 서브모듈로 고정한 것이어서(RealtimeEfficientTAM, unitree_sdk2_wrapper) 하드웨어 경로가 개인이 관리하는 저장소에 기대고 있다
  • 저장소는 패키지로 설치되지 않고 PYTHONPATH로 소스에서 실행되므로 다른 코드에서 의존하기가 번거롭다

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.