X-VLA

以軟提示擴展的跨形態 VLA 模型

授權條款

Apache-2.0

概述

X-VLA 是一個採用軟提示的視覺語言動作基礎模型，可擴展到多樣的機器人形態。透過針對各形態的可學習嵌入，單一統一的 Transformer 骨幹就能適應不同的機器人、攝影機、動作空間與環境。這個模型在 6 個模擬平台與 3 台以上的真實機器人（包括 Franka、WidowX 與 Agibot）上達到最先進的泛化能力。主要特色包括透過 flow matching 實現的 50 Hz 連續控制、凍結視覺語言模型（VLM）編碼器以達成樣本高效的微調，以及與 HuggingFace LeRobot 平台的原生整合。

X-VLA 是一個視覺語言動作基礎模型，利用軟提示以極少的額外參數擴展到多樣的機器人形態。它為每個不同的資料來源引入可學習的嵌入，作為各形態專屬的提示，讓單一統一的 Transformer 骨幹能適應不同的機器人、攝影機、動作空間與環境。模型採用精簡的編碼流程，明確分離高維度與低維度的輸入串流，並以 flow matching 生成 50 Hz 的連續動作。X-VLA 在 6 個模擬平台與 3 台以上的真實機器人（包括 Franka、WidowX 與 Agibot）上達到最先進的表現，並贏得 IROS 2025 的 AgiBot World Challenge。

為何重要

X-VLA 解決了機器人基礎模型中的形態問題。透過軟提示嵌入，單一預訓練模型只需調整約 1% 的參數就能適應新的機器人，首次讓跨平台的策略轉移變得實際可行。

解決的問題

機器人基礎模型通常必須為每個新的機器人平台重新訓練或微調。X-VLA 使用各形態專屬的軟提示，讓單一模型能控制不同的機器人，大幅降低在機器人車隊間部署策略的成本。

重點

• 單一統一模型透過可學習嵌入控制多樣的機器人形態
• 軟提示架構只需微調 1% 的參數，就能適應新的形態
• 可擴展到不同的機器人型態與感測器配置
• 建構在經過驗證的 VLA 架構上，並加入跨形態創新
• 開源權重促進多機器人策略轉移的研究

適用對象

• 多機器人車隊營運者
• 研究跨形態轉移的研究人員
• 部署多樣機器人平台的公司
• 探索泛化能力的基礎模型研究人員

限制

• 在差異極大的形態之間，表現可能不一
• 每個新形態都需要一些校準資料
• 軟提示增加了部署流程的複雜度