OpenVLA

用于机器人操作的70亿参数视觉-语言-动作模型

许可证

MIT

概述

一个用于机器人操作的70亿参数开源视觉-语言-动作模型。OpenVLA 基于 970k 条真实世界机器人演示进行训练，在 29 项任务中的绝对任务成功率比 RT-2-X（550亿参数）高出 16.5%，而参数量仅为其七分之一。它以 Llama 2 语言模型为基础，结合 DINOv2 和 SigLIP 视觉编码器，可在消费级 GPU 上微调，并在多任务环境中展现出很强的泛化能力和稳健的语言理解（grounding）能力。

OpenVLA 是一个 70 亿参数的开源视觉-语言-动作（VLA）模型，专为通用机器人操作而设计。它基于覆盖 29 项任务的 970,000 条真实世界机器人演示进行训练，在达到业界领先性能的同时，规模仅为 RT-2-X（550 亿参数）等同类模型的七分之一。OpenVLA 以 Llama 2 语言模型为基础，结合 DINOv2 和 SigLIP 视觉编码器，在多任务环境中展现出卓越的泛化能力，并可在消费级 GPU 上微调，让全球的研究人员和开发者都能用上先进的机器人 AI。

为何重要

OpenVLA 证明了一个 70 亿参数的模型可以在机器人操控任务中超越参数量大得多的模型（如 550 亿参数的 RT-2-X），使视觉-语言-动作模型在消费级硬件上变得切实可行。它证明了开源机器人基础模型能够与专有方案一较高下。

解决的问题

此前的机器人基础模型（如 RT-2-X）需要庞大的计算资源（550 亿参数），令大多数研究人员望而却步。OpenVLA 表明，高效的模型架构能够以极低的成本实现更优的效果，从而推动了机器人基础模型研究的民主化。

要点

• 性能比 RT-2-X（55B）高 16.5%，参数量少 7 倍
• 基于 Llama 2 + DINOv2 + SigLIP 构建——利用经过验证的大语言模型和视觉骨干网络
• 可在单块 GPU 上用 LoRA 微调（作者使用一块 A100）
• 在 970K 条真实世界机器人示范数据上训练
• 强大的语言落地能力，可在 29 项任务中遵循指令

适用人群

• 算力预算有限的机器学习研究人员
• 针对特定任务进行微调的机器人实验室
• 探索视觉-语言-动作模型的学生
• 评估机器人基础模型方案的企业

局限

• 主要在桌面操控场景上训练——仅适用于类似场景
• 推理需要 GPU（未经优化不适合边缘部署）
• 微调仍需要真实机器人的演示数据
• 语言理解在简单任务指令下效果最佳