VLA-0

直接以文字表示機器人動作的 VLA 模型

授權條款

CC BY-NC 4.0

概述

VLA-0 是一個視覺語言動作（VLA）模型，它直接以文字表示機器人動作，而不修改基礎視覺語言模型的架構。它建構在 Qwen2.5-VL-3B-Instruct 之上，在 LIBERO 基準測試上達到最先進的表現（94.7% 成功率），勝過 pi-zero、OpenVLA-OFT 與 SmolVLA 等更複雜的方法。其關鍵洞見在於：直接以文字表示動作這個最簡單的策略，過去幾乎無人探索，卻被證明非常有效。

VLA-0 是 NVIDIA Research 推出的視覺語言動作（VLA）模型，它直接以文字表示機器人動作，而不修改基礎視覺語言模型（VLM）的架構。它建構在 Qwen2.5-VL-3B-Instruct 之上，在 LIBERO 基準測試上以 94.7% 的成功率達到最先進的表現，勝過 pi-zero、OpenVLA-OFT 與 SmolVLA 等更複雜的方法。其關鍵洞見在於：以文字整數表示動作這個最簡單的策略，過去幾乎無人探索，卻被證明非常有效。與其他 VLA 不同，它不需要擴充詞彙表、不需要自訂動作頭，也不需要特製的 tokenizer，只是直接運用既有 VLM 的能力。

為何重要

VLA-0 採取一種獨特而簡單的做法：它直接以文字 token 表示機器人動作，完全不修改基礎視覺語言模型（VLM）。這意味著任何 VLM 都能成為機器人控制器，讓這個方法非常容易取用與調整。

解決的問題

大多數 VLA 模型需要修改基礎模型的自訂架構，實作複雜，而且在更好的 VLM 出現時難以升級。VLA-0 原樣使用 VLM，並以文字表示動作，因此升級到更好的 VLM 就會自動改善機器人策略。

重點

• 以文字表示機器人動作，不需修改架構
• 建構在 Qwen2.5-VL-3B 之上，直接運用既有 VLM 的能力
• 以極為簡單的方法達到最先進的成果
• 任何視覺語言模型（VLM）都可能成為機器人控制器
• 模型小（3B），便於實際部署

適用對象

• 探索機器人應用的 VLM 研究人員
• 想要簡單 VLA 實作的開發者
• 已有 VLM 基礎設施的團隊
• 研究動作表示格式的研究人員

限制

• 3B 模型可能缺乏處理複雜推理任務的容量
• 推論速度受限於文字生成的吞吐量