Rho
Microsoft 的開放 5B VLA,已預先調適到三款常見的雙臂機器人
授權條款
MIT
概述
Rho 是 Microsoft Research 推出的開放權重視覺語言動作(VLA)模型系列,適用於雙臂機器人,於 2026 年 9 月以 MIT 授權釋出。每個模型約有 5B 參數:一個 4.68B 參數、經過額外物理基礎(physical grounding)訓練的 Phi 系列視覺語言模型,連接一個 542M 參數的 flow-matching 動作專家,每次輸出約一秒的末端執行器動作。其構想是分兩步調適。Rho-base 以超過 3,200 小時、大多為雙臂的機器人資料預訓練,接著先以某一台特定機器人約 300 小時的資料進行中期訓練。釋出的檢查點已經為 I²RT YAM Box、UR AI Trainer 與 Franka FR3 Duo 完成這一步。之後的任務微調所需的示範就比較少。程式碼可在 LeRobot 資料集上微調,在 LIBERO 與 RoboEval 上評估,並透過 websocket 提供策略服務。所有權重與資料集都放在 Hugging Face 上,方法則記載於技術報告中。
多數開放的 VLA 先經過廣泛的預訓練,再直接針對任務微調,因此示範資料必須同時教會機器人本身與任務。Rho 的前提是先學會機器人。在預訓練與任務微調之間,有一個機器人形態中期訓練階段:以某一台機器人約 280 到 300 小時、涵蓋數十個任務系列的資料訓練兩個 epoch。這個階段的目的不是精通任何任務,而只是吸收那台機器人的攝影機、運動學、工作範圍與控制慣例。作者為三款廣泛使用的雙臂平台釋出已完成這個階段的模型,因此擁有其中一款的實驗室,可以從一個已經了解自家硬體的模型出發。
支持這個構想的證據來自對照比較,而不是單一的亮眼數字。在 RoboTwin 2.0 模擬器中,中期訓練後的模型只用 Rho-base 一半的微調示範就達到相同的成功率,而且資料量最少時差距最大。在實體 FR3 Duo 上,同樣 150 次插頭插入示範,Rho-base 的成功率為 60%,經過一個 epoch 中期訓練後為 76.7%,釋出的兩個 epoch 檢查點則為 86.7%。在 YAM Box 的 BusyBox 基準測試中,使用約 2,000 次示範,微調後的 Rho-YAM-Box 整體達到 90%,與 π0.5 持平,並領先 GR00T N1.7 與 MolmoAct2。
這次釋出也包含一個線上階段。模型內一個小型的潛在策略會從人類的修正接管中學習,其餘部分則保持凍結。在報告中,15 個經過修正的回合,讓 FR3 Duo 上最困難的試管組裝配置成功率從 30% 提升到 70%。狀態與動作介面是通用的:每一步最多 32 個維度,未使用的維度會被遮罩。因此同一個模型可以驅動關節或末端執行器控制、增量或絕對目標,以及單臂或雙臂。
為何重要
使用 VLA 時,昂貴的部分不是下載模型,而是把它調適到你的機器人與任務上,這通常意味著每項任務需要數百次示範。Rho 把這筆成本中與機器人相關的部分,移進一個針對三款許多實驗室已經擁有的平台所發布的檢查點,並採用 MIT 授權。報告以在實體機器人上與 π0.5、GR00T N1.7 及 MolmoAct2 的對照比較來支持這項主張。它也讓開放 VLA 在 OpenPI、GR00T 與 MolmoAct 之外,多了第四個來自大型實驗室、值得認真看待的系列。
解決的問題
把通用 VLA 微調到新任務上,會迫使示範資料同時教會機器人與任務。Rho 把兩者分開:機器人只需學一次,學在一個中期訓練檢查點中,而這些檢查點已為三款雙臂平台釋出,因此任務微調從一個已經了解硬體的模型出發,所需示範也更少。接著,一個輕量的線上階段會根據少量人類修正,持續改進已部署的策略。
重點
- 開放權重的 5B VLA:一個經過物理基礎訓練、4.68B 參數的 Phi 系列 VLM,加上一個 542M 參數的 flow-matching 動作專家
- Rho-base 以超過 3,200 小時、大多為雙臂的機器人資料預訓練,再經中期訓練成為 YAM Box、UR AI Trainer 與 FR3 Duo 的版本
- 在 RoboTwin 2.0 中,中期訓練後的模型只用一半的微調示範就追平 Rho-base
- 微調後的 Rho-YAM-Box 在 BusyBox 上達到 90%,與 π0.5 持平,並領先 GR00T N1.7 與 MolmoAct2
- 以 15 個經過修正的回合進行線上調適,讓 FR3 Duo 上最困難的試管配置從 30% 提升到 70%
- 程式碼、權重與微調資料集採用 MIT 授權;可在 LeRobot 資料集上微調,並透過 websocket 提供服務
適用對象
- 擁有 I²RT YAM Box、UR AI Trainer 或 Franka FR3 Duo,想要一個預先調適好的起始策略的實驗室
- 比較開放 VLA 在雙臂操作上的表現、需要一個以 MIT 授權的強大基準模型的團隊
- 研究高資料效率調適、中期訓練與從人類修正中學習的研究人員
- 想在自己的資料集上微調 5B VLA 的 LeRobot 使用者
限制
- 3,200 小時的預訓練混合資料與各機器人的中期訓練資料並未釋出;釋出的只有檢查點、BusyBox 資料集,以及 LIBERO 與 RoboEval 的微調資料
- 預先調適的版本只有三款雙臂平台;其他任何機器人都要從 Rho-base 出發,需要自行中期訓練或更多任務資料
- 比較都是作者自己在他們的機器人與實驗流程上所做的;專案頁面本身也表示,三個平台與少數幾個基準測試不足以證明普遍的表現
- 任務策略在實體機器人上仍需要約 100 到 300 次示範;中期訓練能減少這個數量,但無法免除
- 訓練與推論需要 CUDA GPU,以及針對 CUDA toolkit 編譯的 FlashAttention 2;Docker 路線需要約 100 GB 的建置空間
- 於 2026 年 9 月底釋出,因此尚無外部的使用紀錄