Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Xiaomi-Robotics-0

小米推出的 4.7B 參數 VLA 模型,以 30Hz 即時控制機器人

授權條款

Apache-2.0

概述

由 Xiaomi Robotics 打造、具有 4.7B 參數的開源視覺語言動作(VLA)模型,結合 Qwen3-VL-4B 視覺語言模型與 16 層的 Diffusion Transformer,用於即時機器人操作。它在 LIBERO(98.7%)、CALVIN(平均長度 4.80)與 SimplerEnv 基準測試上達到最先進的成果,並能在消費級 RTX 4090 GPU 上以 30Hz 執行。

Xiaomi-Robotics-0 是小米的第一代開源視覺語言動作(VLA)模型,專為高效能的機器人推理與即時執行而設計。這個模型具有 47 億個參數,採用 Mixture-of-Transformers(MoT)架構,將感知與動作生成解耦成兩個專門的元件:一個預訓練的 Qwen3-VL-4B-Instruct 視覺語言模型(VLM),負責視覺理解、語言理解與高階決策;以及一個 16 層的 Diffusion Transformer(DiT),透過 flow matching 產生連續的動作區塊(action chunk)。

模型的兩階段預訓練策略,旨在保留 VLM 的多模態能力,同時習得穩健的動作生成技能。在第 1 階段,VLM 以 1:6 比例混合的視覺語言資料(超過 80M 筆樣本)與機器人軌跡資料(約 200M 個時間步)共同訓練,並使用名為 Choice Policies 的動作提議(Action Proposal)機制。在第 2 階段,VLM 被凍結並作為多模態條件器,而 DiT 則以 flow matching 損失從頭訓練,從雜訊中重建精確的動作序列。

後訓練為真實部署引入了數項創新:重複使用 VLM 的 KV 快取以將推論延遲降到最低的非同步執行、一種 Lambda 形注意力遮罩,可防止模型利用時間相關性取巧,同時確保對環境的反應能力,以及依據 L1 誤差進行的自適應損失重新加權。這些最佳化讓模型能在單張消費級 NVIDIA RTX 4090 GPU 上達到 80ms 的推論延遲與 30Hz 的即時控制頻率。

此模型在三個標準模擬基準測試上全都達到最先進的成果,勝過包括 pi0、pi0.5、OpenVLA、RT-1 與 RT-2 在內的 30 多個競爭模型。在 LIBERO 上,它的平均成功率為 98.7%(Object 組為 100%);在 CALVIN 的 ABCD->D 分割上,平均任務鏈長度達 4.80;在 SimplerEnv 上,Google Robot 任務的 visual matching 準確率達 85.5%。在雙臂機器人上的真實世界實驗顯示,它在拆解 Lego 與摺毛巾等長時程任務中能保持穩定的手眼協調。

為何重要

Xiaomi-Robotics-0 是讓更廣大的機器人社群取得高效能 VLA 模型的重要里程碑。它在消費級硬體(單張 RTX 4090)上即時執行,同時達到最先進的基準測試成果,大幅降低了研究人員與開發者的入門門檻;過去他們需要昂貴的多 GPU 配置,才能使用機器人基礎模型。Apache 2.0 授權以及與 HuggingFace Transformers 生態系的完整相容性,讓它能直接在不同的機器人平台上微調與部署。

這個模型的架構也處理了 VLA 領域的一個關鍵挑戰:動作訓練往往會削弱底層視覺語言模型(VLM)的能力。小米以凍結的 VLM 作為條件器的兩階段做法,在達成精確動作生成的同時保留了多模態理解,使模型能同時執行物體偵測、視覺問答與機器人操作。

解決的問題

現有的 VLA 模型在維持強大的視覺語言理解與學習精確的機器人動作生成之間,存在根本上的拉鋸,常常犧牲其中一方。此外,大多數最先進的模型需要昂貴的多 GPU 推論配置,使得在標準硬體上即時部署並不實際。Xiaomi-Robotics-0 以解耦的 Mixture-of-Transformers 架構與最佳化的非同步推論流程同時解決這兩個問題,在單張消費級 GPU 上以即時速度提供最先進的操作效能,同時保留底層 VLM 完整的視覺推理與語言理解能力。

重點

  • 在 LIBERO(98.7%)、CALVIN(平均長度 4.80)與 SimplerEnv(85.5% VM)基準測試上達到最先進成果,勝過包括 pi0 與 OpenVLA 在內的 30 多個競爭模型
  • 使用 Flash Attention 2 與 bfloat16 精度,在單張消費級 NVIDIA RTX 4090 GPU 上以 30Hz 即時執行,推論延遲僅 80ms
  • 採用新穎的 Mixture-of-Transformers 架構,將 4B 參數的 Qwen3-VL 視覺語言模型(VLM)與負責動作生成的 16 層 Diffusion Transformer 解耦
  • 以約 2 億個機器人軌跡時間步與超過 8,000 萬筆視覺語言樣本預訓練,採用可保留多模態理解的兩階段做法
  • 以 Apache 2.0 授權完全開源,在 HuggingFace 上提供 6 個微調版本,並與 HuggingFace Transformers 生態系相容,便於部署與微調

適用對象

  • 研究視覺語言動作(VLA)模型與操作策略的機器人研究人員
  • 需要高效能、即時 VLA 模型以部署在消費級硬體上的機器人學習工程師
  • 研究 LIBERO、CALVIN 與 SimplerEnv 等基準測試、需要強大基準線或比較模型的學術實驗室
  • 尋找 Apache-2.0 授權基礎模型、要為自訂機器人平台微調的機器人新創與公司

限制

  • 主要在桌面操作任務上展示;尚未在移動操作、行走運動或全身人形控制上驗證
  • 真實世界實驗僅限於小米的專有雙臂平台;社群在其他硬體上的結果仍陸續出現中
  • 需要支援 Flash Attention 2、至少約 10GB VRAM 的 NVIDIA GPU(RTX 4090 等級);尚未針對邊緣裝置或純 CPU 推論最佳化
  • 內部遠端操作資料的訓練細節未完全公開,可能限制預訓練階段的精確重現

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。