WALL-OSS

用於可泛化機器人操作的 4B 參數視覺語言動作（VLA）模型

授權條款

Apache-2.0

概述

WALL-OSS 是一個 40 億參數的視覺語言動作（VLA）模型，讓機器人能依自然語言指令執行複雜的操作任務。它建構於緊密耦合的混合專家（MoE）架構之上，在單一統一模型中整合了視覺理解、語言推理與連續動作生成。WALL-OSS 在多個機器人操作評測基準上達到最先進的表現，同時維持即時的推論速度，因此可實際部署在實體機器人上。

WALL-OSS 採用緊密耦合的 MoE 架構，視覺語言理解與動作生成共用同一個骨幹，實現深度的跨模態推理，而不是將動作預測當成獨立的下游任務。

模型以 RGB 攝影機影像與自然語言任務描述作為輸入，同時輸出離散的高階動作（思維鏈推理、子任務分解）與連續的低階機器人動作（關節位置、夾爪指令）。

訓練採兩階段流程：首先是「Inspiration」階段，以大規模視覺語言資料進行訓練以建立落地理解；接著是「Integration」階段，以附有動作標籤的機器人操作示範進行微調。

WALL-OSS 相容於 LeRobot 框架，可用於資料收集與部署，並已在包括單臂與雙臂操作設置在內的真實機器人硬體上驗證。模型權重以 Apache 2.0 授權發布於 Hugging Face。

為何重要

WALL-OSS 證明了在單一模型中緊密耦合視覺、語言與動作，能產生比流程式方法明顯更好的機器人操作表現。作為採用 Apache 2.0 授權、完全開源的 4B 參數 VLA 模型，它為社群提供了一個強大的基礎模型，用於建構可泛化的機器人操作系統。

解決的問題

目前的機器人操作系統，不是每遇到新物體/情境就需要針對任務訓練，就是採用視覺與動作鬆散耦合的流程式方法，因而失去重要的空間推理。WALL-OSS 透過學習一個將視覺理解與動作生成深度整合的統一表徵來解決這個問題，實現對新任務的零樣本泛化。

重點

• 採用緊密耦合 MoE 架構的 4B 參數 VLA
• 統一的思維鏈推理與連續動作輸出
• 在多個操作評測基準上達到最先進水準
• 相容於 LeRobot，可用於資料收集與部署
• 權重完全開源，發布於 Hugging Face（Apache 2.0）

適用對象

• 機器人操作研究人員
• VLA/基礎模型研究人員
• LeRobot 使用者
• 機器人學習工程師

限制

• 需要具備足夠 VRAM 的 GPU 才能進行 4B 模型推論
• 主要在桌面操作任務上驗證
• 用於差異明顯的機器人形態時需要微調
• 在邊緣硬體上進行即時推論可能需要模型量化