Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

Runway Praxis-1

영상과 로봇 행동을 함께 예측하는 Runway의 오픈 웨이트 월드 액션 모델

라이선스

Apache 2.0

코드: Apache-2.0, runwayml/praxis-1-oss의 LICENSE 파일에서 확인. 가중치: Runway 컬렉션의 여덟 개 모델 카드 모두(베이스, DROID, YAM, 두 개의 NVFP4 버전, 세 개의 LeRobot 버전) Apache-2.0이며 접근 제한이 없습니다. Runway 발표는 상업적 사용이 포함된다고 밝힙니다. 평가 세트: praxis-1-eval 데이터셋 카드에서 Apache-2.0. 고정된 의존 요소: Wan2.2 VAE와 Qwen3.5-2B 텍스트 인코더는 Runway 저장소에 없으며, 둘 다 각자의 Hugging Face 카드에서 Apache-2.0입니다. 시뮬레이션 에셋: 처음 실행할 때 MuJoCo Menagerie에서 각자의 라이선스로 내려받습니다: Franka 암은 Apache-2.0, Robotiq 2F-85 그리퍼는 BSD-2-Clause, YAM 암은 MIT. 2026-11-12에 LICENSE 파일과 Hugging Face 카드로 확인.

개요

Runway Praxis-1은 AI 영상 기업 Runway가 만든 로봇 암용 오픈 웨이트 월드 액션 모델로, 2026년 11월 11일 Apache-2.0으로 모두에게 공개되었습니다. Runway 자체의 영상 파운데이션 모델을 바탕으로 하며, 호출할 때마다 카메라 영상의 다음 1.6초를 예측하고 그 영상을 만들어 내는 로봇 행동을 함께 출력합니다. 모델은 총 27.2B 파라미터로, 토큰당 약 2.8B가 활성화되는 mixture-of-experts 영상 백본과 작은 행동 전문가로 이루어져 있습니다. 공개된 체크포인트는 세 가지입니다: 새 로봇에 맞춰 미세 조정할 베이스 모델, DROID 구성의 Franka 암용 단일 암 정책, YAM 암용 양팔 정책이며, 두 정책에는 최신 NVIDIA GPU용 NVFP4 버전도 있습니다. Runway는 추론, 서빙, 시뮬레이션, 미세 조정(LoRA 포함) 코드를 공개했고, 모델은 LeRobot 정책으로도 실행되며 NeMo Automodel에도 미세 조정 레시피가 있습니다.

Runway는 2026년 9월 Praxis-1을 발표했고 2026년 11월 11일 정식 공개했습니다. 코드는 GitHub, 가중치는 Hugging Face 컬렉션에 있고, 기술 보고서는 Runway 연구 사이트에 있습니다.

Praxis-1은 Runway가 월드 액션 모델이라고 부르는 것으로, 로봇 행동도 출력하는 영상 월드 모델입니다. 호출할 때마다 텍스트로 된 작업, 로봇 카메라의 최신 프레임, 암의 자세를 읽습니다. 영상 백본이 다음 영상 청크를 예측하고, 작은 행동 전문가가 백본의 내부 특징을 읽어 그 영상을 만드는 움직임을 계산합니다. 호출마다 15 Hz의 행동 24행, 즉 1.6초 분량의 움직임을 예측 영상과 함께 반환하며, 로봇은 그 청크를 실행한 뒤 다시 호출합니다.

백본은 26.9B 파라미터의 확산 트랜스포머이며, 대부분의 층이 mixture-of-experts라서 토큰당 약 2.8B만 활성화됩니다. 행동 전문가가 약 0.3B를 더합니다. 이미지는 고정된 Wan2.2 VAE를, 지시문은 고정된 Qwen3.5-2B 텍스트 인코더를 거치며, 둘 다 따로 내려받습니다.

Runway는 네 단계로 학습시켰습니다: 먼저 범용 영상 모델, 다음으로 체화된 영상(사람의 일인칭 영상 58%, 일반 영상 20%, 실제 로봇 영상 18%, 약간의 게임 영상), 이어서 영상과 행동을 함께, 마지막으로 로봇 하나씩입니다.

공개된 체크포인트는 다음과 같습니다.

- praxis-1-base: 로봇별 행동 헤드가 없는 중간 학습 모델로, 새 로봇의 출발점입니다. - praxis-1-droid: 외부 카메라와 손목 카메라를 갖춘 Franka 암용 단일 암 정책으로, 약 277시간의 DROID 데이터로 미세 조정되었습니다. - praxis-1-yam: 상단 카메라 하나와 손목 카메라 둘을 갖춘 YAM 암용 양팔 정책입니다. - praxis-1-droid-nvfp4와 praxis-1-yam-nvfp4: 두 정책을 NVFP4 4비트 전문가용으로 양자화 인식 학습한 버전입니다.

각 체크포인트는 bfloat16에서 54.4 GB이며 H100 같은 80 GB GPU 한 장에서 실행되고, 호출 한 번에 약 0.55~0.6초가 걸립니다. NVFP4를 쓰면 정책이 17.5 GB로 줄어 Blackwell GPU, RTX 5090급 카드, Jetson Thor에서 실행됩니다. H100에서는 NVFP4를 쓸 수 없습니다.

저장소에는 정책 서버, 평가 스위트가 포함된 DROID 및 YAM 구성의 MuJoCo 시뮬레이션, 두 가지 미세 조정 레시피가 있습니다. 하나는 8 GPU 노드 한 대에서 새 로봇을 위해 베이스를 전체 미세 조정하는 것이고, 다른 하나는 80 GB GPU 한 장에서 새 작업을 위해 praxis-1-droid에 LoRA를 적용하는 것입니다. LeRobot은 2026년 11월 11일 Praxis-1을 praxis 정책으로 추가했고(LeRobot 가이드), 세 체크포인트를 모두 자체 형식으로 변환했습니다. NVIDIA의 NeMo Automodel에도 LIBERO 튜토리얼이 포함된 미세 조정 레시피가 있습니다.

Runway에 따르면 DROID 정책은 NVIDIA의 RoboLab-120 리더보드에서 46.2%의 성공률을 기록해 공개 시점에 그곳의 월드 액션 모델 중 선두였습니다. 학습 데이터에 없던 Google의 RT-1 로봇으로 미세 조정하자 SimplerEnv에서 80.0%에 도달해 원래 RT-1 정책의 52.4%를 넘었습니다. Runway는 커뮤니티 SO-101 데이터로 미세 조정한 결과도 보여 주지만, 그 체크포인트는 아직 공개되지 않았습니다.

중요한 이유

VLA 모델을 비롯한 대부분의 오픈 로봇 정책은 드물고 녹화 비용이 큰 로봇 시연에서 행동을 배웁니다. Praxis-1은 주로 일상 영상과 일인칭 영상으로 학습한 영상 모델에서 출발하며, Runway의 결과는 이런 출발점의 이점이 Google의 RT-1 로봇처럼 한 번도 본 적 없는 로봇에도 이어진다는 점을 시사합니다. Cosmos Predict 2.5 위에 만든 NVIDIA의 Cosmos Policy처럼, 로봇 정책으로 동작하는 오픈 월드 모델이며 가중치는 상업적 사용을 허용하는 Apache-2.0입니다. Franka DROID 구성, YAM 암 한 쌍, 또는 LeRobot 데이터가 있는 독자라면 첫날부터 쓸 수 있습니다: 체크포인트를 내려받아 시뮬레이션에서 실행하고, DROID 구성에서는 GPU 한 장의 LoRA로 새 작업에 맞출 수 있습니다.

해결하는 문제

일반화되는 로봇 정책을 학습시키려면 로봇 시연 데이터가 대량으로 필요하고, 이를 원격 조작으로 모으는 일은 느리고 비쌉니다. Praxis-1은 학습의 대부분을 영상으로 옮깁니다: 일반 영상과 일인칭 영상으로 사전 학습한 모델은 물체와 손이 어떻게 움직이는지 이미 알기 때문에, 로봇은 자기 데이터로 가볍게 미세 조정하기만 하면 됩니다. Runway는 가중치, 이를 실제 로봇이나 시뮬레이션에서 실행하는 코드, 그리고 새 암, 카메라 구성, 작업에 맞추는 레시피를 공개합니다.

핵심 요점

  • 영상과 로봇 행동을 함께 예측하는 27.2B 파라미터 월드 액션 모델
  • Runway의 영상 파운데이션 모델을 바탕으로 주로 사람 영상과 일반 영상으로 학습
  • 공개 체크포인트: 베이스, 단일 암 DROID Franka, 양팔 YAM, NVFP4 버전
  • 80 GB GPU 한 장에서 실행되며, NVFP4로 정책이 17.5 GB가 되어 Blackwell과 Jetson Thor에서 실행
  • 네이티브 코드, LeRobot, NeMo Automodel에 미세 조정 레시피가 있으며 GPU 한 장의 LoRA도 가능
  • 코드와 가중치는 Apache-2.0이며 상업적 사용 포함

대상

  • 월드 액션 모델과 VLA 정책을 비교하는 로봇 학습 연구자
  • Franka DROID 구성이나 양팔 YAM 암을 갖추고 바로 쓸 정책을 원하는 팀
  • 대형 사전 학습 정책을 LoRA나 전체 미세 조정으로 자기 암에 맞추는 개발자
  • 이미 쓰는 도구 안에서 월드 액션 모델을 쓰고 싶은 LeRobot과 NeMo 사용자

한계

  • bfloat16 체크포인트에는 메모리 80 GB의 GPU 한 장이 필요하며, 네이티브 베이스 전체 미세 조정은 80 GB GPU 8장을 쓰고 LeRobot은 최소 4장을 요구합니다
  • NVFP4는 행동을 바꿉니다: Runway는 RoboLab-120에서 비슷한 성공률을 측정했지만 이전 체크포인트는 어려운 시뮬레이션 스위트에서 성공률이 낮았고, RTX 5090급 GPU에서는 아직 폐루프로 실행해 보지 않았습니다
  • 베이스 체크포인트에는 행동 헤드가 없어 미세 조정하기 전에는 로봇에서 실행되지 않습니다
  • Runway는 스스로 실패 사례를 밝힙니다: 비슷하게 생긴 물체로 손을 뻗는 것, 모호한 지시, 프롬프트 하나로 준 긴 작업
  • 샘플링 설정은 DROID Franka에 맞춰 조정되었으며, 다른 로봇에는 각자의 설정이 필요합니다
  • 모든 벤치마크와 실제 로봇 결과는 Runway 자체 측정이며 공개 당일 발표되었습니다
  • LeRobot 통합은 새롭습니다: LeRobot 0.7.0 릴리스 이후인 2026년 11월 11일에 추가되었습니다
  • Wan2.2 VAE와 Qwen3.5-2B 텍스트 인코더는 각자의 Apache-2.0 라이선스로 따로 내려받습니다

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.