OpenVLA

用於機器人操作的 7B 參數視覺語言動作（VLA）模型

授權條款

MIT

概述

一個 7B 參數的開源視覺語言動作模型，用於機器人操作。OpenVLA 以 970k 筆真實世界機器人示範訓練而成，在 29 項任務上的絕對任務成功率比 RT-2-X（55B）高出 16.5%，參數量卻少 7 倍。它以 Llama 2 語言模型結合 DINOv2 與 SigLIP 視覺編碼器打造，可在消費級 GPU 上微調，並在多任務環境中展現強大的泛化能力與穩健的語言對應能力。

OpenVLA 是一個 7B 參數的開源視覺語言動作（VLA）模型，專為通用機器人操作設計。它以涵蓋 29 項任務的 970,000 筆真實世界機器人示範訓練而成，在達到最先進表現的同時，規模比 RT-2-X（55B 參數）等同類模型小 7 倍。OpenVLA 以 Llama 2 語言模型結合 DINOv2 與 SigLIP 視覺編碼器打造，在多任務環境中展現卓越的泛化能力，並可在消費級 GPU 上微調，讓全球的研究人員與開發者都能取用先進的機器人 AI。

為何重要

OpenVLA 證明了一個 7B 參數的模型在機器人操作上能勝過大得多的模型（55B 的 RT-2-X），讓視覺語言動作模型在消費級硬體上變得可行。它也證明了開源機器人基礎模型能與專有方案一較高下。

解決的問題

先前的機器人基礎模型如 RT-2-X 需要龐大的運算資源（55B 參數），讓大多數研究人員無法使用。OpenVLA 證明高效率的架構能以一小部分的成本取得更好的結果，讓機器人基礎模型研究更加普及。

重點

• 以少 7 倍的參數，表現比 RT-2-X（55B）高出 16.5%
• 以 Llama 2 + DINOv2 + SigLIP 打造：善用經過驗證的大型語言模型與視覺骨幹
• 可在單張 GPU 上以 LoRA 微調（作者使用一張 A100）
• 以 970K 筆真實世界機器人示範訓練
• 強大的語言對應能力，可在 29 項任務中遵循指令

適用對象

• 運算預算有限的機器學習研究人員
• 針對特定任務進行微調的機器人實驗室
• 探索視覺語言動作（VLA）模型的學生
• 評估機器人基礎模型方法的公司

限制

• 主要以桌面操作任務訓練：僅適用於類似情境
• 推論需要 GPU（未經最佳化不適合邊緣部署）
• 微調仍需要真實機器人的示範資料
• 語言對應在簡單的任務指令上效果最好