Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Runway Praxis-1

Runway的開放權重世界動作模型,同時預測影片與機器人動作

授權條款

Apache 2.0

程式碼:Apache-2.0,讀自runwayml/praxis-1-oss的LICENSE檔案。權重:Runway合集中全部八張模型卡(基礎、DROID、YAM、兩個NVFP4版本與三個LeRobot版本)皆為Apache-2.0,皆無存取限制;Runway的公告表示包含商業使用。評測集:praxis-1-eval資料集卡為Apache-2.0。凍結相依元件:Wan2.2 VAE和Qwen3.5-2B文字編碼器不在Runway的儲存庫中;兩者在各自的Hugging Face卡上皆為Apache-2.0。模擬資源:首次執行時從MuJoCo Menagerie下載,各有自己的授權:Franka機器手臂Apache-2.0,Robotiq 2F-85夾爪BSD-2-Clause,YAM機器手臂MIT。於2026-11-12對照LICENSE檔案與Hugging Face卡核對。

概述

Runway Praxis-1是AI影片公司Runway推出、針對機器手臂的開放權重世界動作模型,於2026年11月11日以Apache-2.0授權向所有人釋出。它建立在Runway自家的影片基礎模型之上:每次呼叫都會預測攝影機接下來1.6秒的影片,並同時給出產生這段影片的機器人動作。模型總共有27.2B參數,由一個混合專家(mixture-of-experts)影片骨幹和一個小型動作專家組成,骨幹每個token約有2.8B參數處於啟用狀態。開放的檢查點有三個:用來針對新機器人微調的基礎模型、針對DROID平台Franka機器手臂的單臂策略,以及針對YAM機器手臂的雙臂策略;兩個策略另有適用於較新NVIDIA GPU的NVFP4版本。Runway公開了推論、服務、模擬與微調程式碼(包含LoRA),此模型也能以LeRobot策略執行,並在NeMo Automodel中有微調配方。

Runway於2026年9月宣布Praxis-1,2026年11月11日正式釋出:程式碼在GitHub,權重在Hugging Face合集,另有技術報告。

Praxis-1是Runway所稱的世界動作模型,即同時輸出機器人動作的影片世界模型。每次呼叫讀取文字任務、攝影機最新畫面和手臂姿態。影片骨幹預測下一段影片,小型動作專家讀取骨幹內部特徵,推算相應動作。每次呼叫回傳15 Hz的24列動作(1.6秒動作)及預測影片;機器人執行後再次呼叫。

骨幹是26.9B參數的擴散Transformer,多數層為混合專家層,每個token約啟用2.8B;動作專家另有約0.3B。影像經凍結的Wan2.2 VAE,指令經凍結的Qwen3.5-2B文字編碼器,兩者另行下載。

訓練分四個階段:通用影片模型;具身影片(58%人類第一人稱影片、20%通用影片、18%真實機器人影片及少量遊戲畫面);影片與動作一起訓練;逐台機器人微調。

開放檢查點:

- praxis-1-base:中期訓練模型,無機器人專屬動作頭,是新機器人的起點。 - praxis-1-droid:Franka機器手臂單臂策略,配外部與腕部攝影機,以約277小時DROID資料微調。 - praxis-1-yam:YAM機器手臂雙臂策略,配頂部與兩台腕部攝影機。 - praxis-1-droid-nvfp4與praxis-1-yam-nvfp4:兩個策略經NVFP4 4位元專家量化感知訓練的版本。

每個檢查點bfloat16下為54.4 GB,單張80 GB GPU(如H100)即可執行,每次呼叫約0.55到0.6秒。用NVFP4時,策略在Blackwell GPU、RTX 5090級顯示卡和Jetson Thor上縮小到17.5 GB;H100不支援NVFP4。

儲存庫含策略伺服器、附評測套件的DROID與YAM平台MuJoCo模擬和兩套微調配方:8 GPU節點上完整微調基礎模型以適配新機器人;單張80 GB GPU上用LoRA微調praxis-1-droid以適配新任務。LeRobot於2026年11月11日把Praxis-1加入為praxis策略(指南),三個檢查點皆已轉換;NVIDIA NeMo Automodel也有微調配方和LIBERO教學。

據Runway報告,DROID策略在NVIDIA RoboLab-120排行榜成功率46.2%,發布時居世界動作模型之首。在訓練資料外的Google RT-1機器人上微調後,它在SimplerEnv達到80.0%,原始RT-1策略為52.4%。Runway也展示了以社群SO-101資料微調,該檢查點未釋出。

為何重要

多數開放的機器人策略,例如VLA模型,都是從機器人示範中學習動作,而這類資料稀少且錄製成本高。Praxis-1以一個主要用日常影片和第一人稱影片訓練的影片模型為起點,Runway的結果顯示,這種先行優勢能延伸到它從未見過的機器人,例如Google的RT-1機器人。如同建立在Cosmos Predict 2.5上的NVIDIA Cosmos Policy,它是一個充當機器人策略的開放世界模型,權重採用Apache-2.0授權,允許商業使用。擁有Franka DROID平台、一對YAM機器手臂或LeRobot資料的讀者第一天就能使用:下載檢查點、在模擬中執行,並在DROID平台上用一張GPU以LoRA適配新任務。

解決的問題

訓練一個能泛化的機器人策略需要大量機器人示範資料,而用遠端操作蒐集這些資料又慢又貴。Praxis-1把大部分學習移到影片上:在通用影片和第一人稱影片上預訓練的模型已經知道物體和手如何移動,因此機器人只需要用自己的資料做輕量微調。Runway公開了權重、在真實機器人或模擬中執行它們的程式碼,以及把它們適配到新手臂、新攝影機配置或新任務的配方。

重點

  • 一個27.2B參數的世界動作模型,同時預測影片與機器人動作
  • 建立在Runway的影片基礎模型之上,主要以人類影片和通用影片訓練
  • 開放的檢查點:基礎模型、單臂DROID Franka、雙臂YAM以及NVFP4版本
  • 可在一張80 GB GPU上執行;NVFP4讓策略降到17.5 GB,適用於Blackwell和Jetson Thor
  • 原生程式碼、LeRobot和NeMo Automodel都有微調配方,包括單張GPU上的LoRA
  • 程式碼和權重採用Apache-2.0,包含商業使用

適用對象

  • 比較世界動作模型與VLA策略的機器人學習研究者
  • 擁有Franka DROID平台或雙臂YAM機器手臂、想要現成策略的團隊
  • 以LoRA或完整微調把大型預訓練策略適配到自家手臂的開發者
  • 希望在已在使用的工具中使用世界動作模型的LeRobot和NeMo使用者

限制

  • bfloat16檢查點需要一張80 GB記憶體的GPU;原生的基礎模型完整微調使用8張80 GB GPU,LeRobot則要求至少4張
  • NVFP4會改變動作:Runway在RoboLab-120上測得相近的成功率,但較早的檢查點在其困難模擬套件上成功率較低,而且尚未在RTX 5090級GPU上做過閉迴路執行
  • 基礎檢查點沒有動作頭,微調之前無法在機器人上執行
  • Runway列出自己的失敗情況:伸手拿外觀相似的物體、指令含糊,以及用單一提示給出的長任務
  • 取樣設定是針對DROID Franka調整的;其他機器人需要自己的設定
  • 所有基準測試與真實機器人結果都是Runway自己的量測,在釋出當天公布
  • LeRobot整合很新:於2026年11月11日加入,晚於LeRobot 0.7.0版本
  • Wan2.2 VAE和Qwen3.5-2B文字編碼器要另外下載,各自採用Apache-2.0授權

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。