LeRobot 0.7.0, 월드 액션 모델과 원격 추론을 지원하고 학습 스택을 새로 구축
- 출처: Hugging Face (LeRobot team)
- 저자: Open Source Robotics
- 게시일: 2026-11-05
- 카테고리: research
Hugging Face가 11월 5일 LeRobot v0.7.0을 공개했습니다. 대화형 롤아웃을 정식 릴리스에 넣고, 월드 액션 모델 4종과 비전-언어-행동(VLA) 모델 4종을 지원하며, 수십억 파라미터 규모의 모델에 맞춰 학습을 새로 구축하고, 로봇이 원격 GPU에서 정책을 실행할 수 있게 했습니다. 0.6에서 업그레이드하면 설치, 실험 추적, 모터 드라이버가 바뀝니다.
Hugging Face의 오픈소스 로봇 학습 라이브러리 LeRobot이 v0.6.1 이후 3개월 만인 11월 5일 v0.7.0을 공개했습니다. 팀의 릴리스 글은 이번 버전이 정책 수명의 양 끝을 다룬다고 설명합니다. 테라바이트 단위의 시연을 먼저 내려받지 않고 학습하는 것, 그리고 정책이 실행된 뒤 로봇과 대화하는 것입니다. 설치, 학습, 추론, 하드웨어 계층도 새로 만들었기 때문에 0.6에서 업그레이드하려면 몇 가지를 바꿔야 합니다(마지막 섹션 참고).
실행 중인 정책과 대화하기
메인 브랜치에 들어왔을 때 저희가 다룬 대화형 롤아웃이 이제 정식 릴리스에 포함되었습니다. lerobot-rollout에 --interactive=true를 추가하면 로봇, 정책, 프로세서가 로드된 상태로 유지됩니다. /subtask는 팔이 움직이는 동안 지시를 바꾸고, /vqa는 정책에게 무엇이 보이는지 묻고, /autosteer는 목표를 주어 정책이 하위 작업을 스스로 고르게 합니다. 뒤의 두 가지에는 텍스트를 생성하는 정책이 필요합니다. 예를 들어 FineART-VLA(FineART 데이터셋으로 학습), Wall-OSS-0.5, 또는 OpenAI 호환 API 뒤에 있는 외부 비전 언어 모델을 쓸 수 있습니다.
새 모델
미래 영상과 다음 행동을 함께 예측하는 월드 액션 모델 네 가지가 라이브러리에 추가되었습니다.
- NVIDIA의 Cosmos 3: 16.5B Nano와 4.6B Edge 크기로 제공됩니다. 팀은 LIBERO에서 평균 성공률 97.90%와 97.95%를 보고했으며, 둘 다 전체 미세 조정이나 LoRA 미세 조정이 가능합니다. - Black Forest Labs의 FLUX 3 Action: LeRobot에서는 추론과 LoRA 미세 조정을 실행하며, 새로운 로봇 형태를 학습시키려면 Black Forest Labs의 자체 flux-action 저장소를 사용합니다. - RLinf 팀의 LaWAM: 잠재 공간에서 동역학을 학습합니다. - NVIDIA LongLive 팀의 Long-WAM: 긴 컨텍스트를 위해 만들어졌습니다.
비전-언어-행동 모델 네 가지도 추가되었습니다. 행동 전에 현재 하위 작업을 텍스트로 먼저 출력하는 OpenGalaxea의 G0.5, Robbyant의 LingBot-VLA 2.0, Dexmal의 DM0.5(OpenDM에서 이식), 그리고 X Square Robot의 Wall-OSS-0.5입니다.
대규모 학습과 데이터
- FSDP1이 FSDP2와 HSDP 샤딩, 그래디언트 누적, 분산 체크포인트로 대체되었습니다. 6B 모델로 8×H200 노드에서 측정한 결과, 체크포인트 저장이 3x 빨라졌고 재개 시 최대 메모리 사용량이 GPU당 143 GB에서 42 GB로 줄었습니다(멀티 GPU 문서). - 학습에 FP16 혼합 정밀도, 선택 사항인 가중치 이동 평균(EMA), 그리고 Weights & Biases를 완전히 대체하는 Hugging Face의 오픈소스 트래커 Trackio가 추가되었습니다. - 이미지 증강을 GPU에서 실행할 수 있게 되었습니다. 팀의 측정으로는 ACT 학습이 H100에서 2.8x, A100에서 3.3x 빨라졌습니다. - 다운로드 없이 Hub에서 바로 학습하는 기능(관련 기사)과 LanceDB 테이블에서 학습하는 기능(관련 기사)이 모두 이번 릴리스에 포함되었습니다.
원격 추론, 시뮬레이션, 하드웨어
- lerobot-policy-server는 GPU 머신에서 모델을 실행하고, 로봇 옆의 노트북이나 싱글 보드 컴퓨터는 카메라, 모터, 녹화를 맡습니다. 서버가 다음 청크를 계산하는 동안 로봇은 버퍼에 쌓인 행동을 따르며, 통신은 Zenoh를 사용합니다(문서). - 이제 모든 시뮬레이터가 하나의 코어를 통해 실행됩니다. 같은 프로세스 안에서 실행하거나 lerobot-env-server 뒤의 자체 Docker 이미지에서 실행할 수 있어, 시뮬레이터끼리 의존성 버전을 두고 충돌하지 않습니다. 이 위에서 동작하는 첫 벤치마크는 NVIDIA의 RoboLab으로, Isaac Lab의 DROID Franka 구성을 위한 테이블 위 작업 120개로 이루어져 있습니다. lerobot-eval은 이제 모든 성공률에 95% 신뢰 구간을 함께 보고합니다. - 하드웨어: I2RT YAM 암 한 개 또는 두 개, Damiao 모터뿐 아니라 RobStride 모터를 쓰는 reBot B601, 그리고 NVIDIA SONIC 전신 제어기의 디코더를 실행하는 Unitree G1(앞서 저희가 다룬 내용)과 23-DoF G1이 추가되었습니다.
업그레이드 전에
- Linux에서 torch는 이제 PyPI에서 CUDA 13 빌드로 설치되며, NVIDIA 드라이버 580.65 이상이 필요합니다. 드라이버가 더 오래되었다면 먼저 CUDA 12 인덱스에서 torch를 설치하세요(설치 가이드). macOS는 버전 14 이상이 필요합니다. - --wandb. 옵션은 --trackio.로 바뀌며, 체크포인트는 더 이상 기본적으로 아티팩트로 업로드되지 않습니다. - 0.6 이하에서 저장한 FSDP 체크포인트로는 학습을 재개할 수 없지만, 가중치는 여전히 로드됩니다. - lerobot[async]와 lerobot.async_inference는 제거되었습니다. 대신 lerobot[remote]를 설치하세요. - Feetech와 Dynamixel 모터가 이제 rustypot 기반의 버스 하나를 공유합니다. 기존 클래스 이름은 사용 중단된 별칭으로 계속 작동하며, 캘리브레이션 파일은 바뀌지 않습니다. - --policy.use_peft=true는 이제 LoRA로 학습합니다. 이전에는 아무 안내 없이 전체 미세 조정을 실행했습니다.
중요한 이유
LeRobot은 많은 오픈 로봇 정책, 데이터셋, 로봇 팔이 모이는 곳이라서, 이 라이브러리가 무엇을 지원하느냐에 따라 대부분의 취미용·연구실 환경이 직접 연결 코드를 쓰지 않고 시도할 수 있는 범위가 정해집니다. 이번 릴리스는 월드 액션 모델을 포함한 최신 모델 계열을 기존 정책과 같은 학습·롤아웃 명령으로 쓸 수 있게 했고, 원격 추론 덕분에 로봇에 달린 작은 컴퓨터가 실행할 수 있는 모델을 제한하지 않게 되었습니다. 호환되지 않는 변경도 그만큼 중요합니다. 잘 돌아가는 0.6 환경이 있다면 업데이트 전에 업그레이드 안내를 읽어 보세요.
핵심 요점
- LeRobot v0.7.0은 v0.6.1 이후 3개월 만인 11월 5일에 나왔습니다.
- 대화형 롤아웃이 정식 릴리스에 들어가, 실행 중인 정책의 지시를 바꾸거나 무엇이 보이는지 묻거나 목표를 줄 수 있습니다.
- 월드 액션 모델 4종(Cosmos 3, FLUX 3 Action, LaWAM, Long-WAM)과 VLA 4종(G0.5, LingBot-VLA 2.0, DM0.5, Wall-OSS-0.5)을 지원합니다.
- lerobot-policy-server는 GPU 컴퓨터에서 모델을 실행하고, 로봇 자체의 컴퓨터는 카메라와 모터를 맡습니다.
- 업그레이드하면 설치 방식(CUDA 13 빌드)이 바뀌고, Weights & Biases가 Trackio로 대체되며, Feetech와 Dynamixel 모터가 하나의 rustypot 버스로 옮겨집니다.
오픈소스 관점
LeRobot 자체는 Apache-2.0이지만, 이제 불러올 수 있는 모델들의 조건은 제각각입니다. LingBot-VLA 2.0은 Apache-2.0이고 Cosmos 3 체크포인트는 OpenMDW 1.1 라이선스를 따르지만, G0.5는 비상업용이고, DM0.5와 FineART-VLA는 Gemma 이용 조건을 따르며, FLUX 3 Action은 Black Forest Labs 자체의 FLUX Kommunity License에 따라 접근 신청이 필요합니다. 체크포인트를 바탕으로 무언가를 만들기 전에 모델 카드를 확인하세요.
관련 기술
- World action models
- Vision-language-action models
- FSDP2
- Remote inference
- Zenoh
관련 프로젝트
링크
- 출처: https://huggingface.co/blog/lerobot/lerobot-release-v070