Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Spatial Forcing: Implicit Spatial Representation Alignment for Vision-Language-Action Models

作者: Fuhao Li, Wenxuan Song, Han Zhao, Jingbo Wang, Pengxiang Ding, Donglin Wang, Long Zeng, Haoang Li · ICLR 2026

ICLR 2026

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。

一句話摘要

將 VLA 的視覺嵌入與 3D 基礎模型的幾何對齊,讓以 2D 預訓練的模型無需深度感測器就具備空間感知:取得最先進的結果,訓練最多快 3.8 倍。

為何重要

以一套不需要新感測器的方法,修正當代 VLA 的關鍵弱點,也就是不佳的空間基礎,並在訓練明顯更快的同時,勝過以 2D 與 3D 為輸入的 VLA。

問題

VLA 從其視覺語言骨幹網路繼承了只有 2D 的預訓練,因此會誤判 3D 世界;外加深度感測器或估計器,則帶來雜訊、硬體分歧與不完整的資料覆蓋。

提出的方法

隱式地迫使模型理解空間:在訓練期間,將 VLA 的中間層視覺嵌入與預訓練 3D 基礎模型的幾何表徵對齊,推論時不需要深度輸入。

關鍵見解

  • 空間理解可以在訓練時隱式地灌輸,而不是在推論時加上 3D 感測器
  • 與 3D 基礎模型進行中間層對齊,比輸入層級的 3D 融合更能豐富空間編碼
  • 更好的空間表徵直接轉化為更精確的機器人動作
  • 這個方法同時也是訓練加速器,最多快 3.8 倍,並具有更好的資料效率

主要結果

  • 在模擬與真實世界實驗中取得最先進的結果,超越以 2D 與 3D 為輸入的 VLA
  • 訓練加速最多 3.8 倍
  • 在多樣的機器人任務上提升資料效率

限制

  • 取決於用於對齊之預訓練 3D 基礎模型的品質與領域涵蓋範圍
  • 在操作基準測試套件與實驗室環境中評估;開放世界的穩健性仍有待證明

對領域的影響

一種可直接套用、在訓練時進行的對齊,能提升動作精度與資料效率,降低有能力之操作策略的成本;而它不需感測器的做法,也很適合本平台收錄的平價機器手臂。

摘要

視覺語言動作(VLA)模型近來在讓機器人遵循語言指令並執行精確動作上展現強大潛力。然而,多數 VLA 建立在只以 2D 資料預訓練的視覺語言模型之上,缺乏準確的空間感知,妨礙它們在 3D 物理世界中運作。現有的解決方案嘗試加入明確的 3D 感測器輸入,例如深度圖或點雲,但這些方法因感測器雜訊、硬體異質性,以及既有資料集中深度覆蓋不完整而面臨挑戰。從 2D 影像估計 3D 線索的替代方法,也受限於深度估計器有限的表現。我們提出 Spatial Forcing(SF),一種簡單而有效的對齊策略,能在不依賴明確 3D 輸入或深度估計器的情況下,隱式地迫使 VLA 模型發展出空間理解能力。SF 將 VLA 的中間層視覺嵌入,與預訓練 3D 基礎模型產生的幾何表徵對齊。透過在中間層強制對齊,SF 引導 VLA 編碼更豐富、能提升動作精度的空間表徵。在模擬與真實世界環境中的大量實驗顯示,SF 取得最先進的結果,超越以 2D 與 3D 為基礎的 VLA。SF 還能將訓練加速最多 3.8 倍,並在多樣的機器人任務上提升資料效率。

連結

  • arXiv 2510.12276: https://arxiv.org/abs/2510.12276
  • PDF: https://arxiv.org/pdf/2510.12276
  • 程式碼: https://github.com/OpenHelix-Team/Spatial-Forcing
  • 專案頁面: https://spatial-forcing.github.io/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。