OpenVLA

ロボットマニピュレーションのための70億パラメータのビジョン-言語-アクションモデル

ライセンス

MIT

概要

ロボットマニピュレーションのための70億パラメータのオープンソースのビジョン-言語-アクションモデルです。OpenVLAは97万件の実世界ロボットデモンストレーションで学習されており、29のタスクにおける絶対タスク成功率でRT-2-X（550億）を16.5%上回り、パラメータ数は7分の1です。Llama 2言語モデルにDINOv2とSigLIPの視覚エンコーダーを組み合わせて構築されており、一般消費者向けGPUでファインチューニングでき、堅牢な言語グラウンディング能力を備え、マルチタスク環境で高い汎化性能を示します。

OpenVLAは、汎用的なロボットマニピュレーション向けに設計された70億パラメータのオープンソースのビジョン-言語-アクション（VLA）モデルです。29のタスクにわたる97万件の実世界ロボットデモンストレーションで学習され、RT-2-X（550億パラメータ）などの同等モデルより7分の1の規模でありながら最先端の性能を達成しています。Llama 2言語モデルにDINOv2とSigLIPの視覚エンコーダーを組み合わせて構築されたOpenVLAは、マルチタスク環境で卓越した汎化能力を示し、一般消費者向けGPUでファインチューニングできるため、高度なロボティクスAIを世界中の研究者や開発者が利用できるようにしています。

重要な理由

OpenVLAは、70億パラメータのモデルがロボットマニピュレーションにおいてはるかに大規模なモデル（550億パラメータのRT-2-X）を上回れることを実証し、ビジョン・言語・行動モデルを一般消費者向けハードウェアで実用的にしました。オープンソースのロボット基盤モデルがプロプライエタリな代替品と競合できることを証明しました。

解決する課題

RT-2-Xのような以前のロボット基盤モデルは膨大な計算リソース（550億パラメータ）を必要とし、ほとんどの研究者にとってアクセス不可能でした。OpenVLAは、効率的なアーキテクチャがコストのごく一部でより良い結果を達成できることを示し、ロボット基盤モデル研究の民主化を推進しています。

主なポイント

パラメーター数が7分の1でありながら、RT-2-X（55B）を16.5%上回る性能
Llama 2 + DINOv2 + SigLIPをベースに構築し、実績あるLLMと視覚のバックボーンを活用
単一のGPUでLoRAによるファインチューニングが可能（著者らはA100を1基使用）
970K件の実世界のロボットデモンストレーションで学習
強力な言語グラウンディングにより、29のタスクにわたって指示に従うことが可能

対象

計算予算が限られたML研究者
特定のタスクにファインチューニングするロボティクスラボ
ビジョン・言語・行動モデルを探求する学生
ロボット基盤モデルアプローチを評価する企業

制限事項

主にテーブルトップマニピュレーションで訓練されており、類似のシナリオに限定される
推論にGPUが必要（最適化なしではエッジデプロイメントに不向き）
ファインチューニングには依然として実機ロボットのデモンストレーションデータが必要
言語グラウンディングは単純なタスク指示で最も効果的に機能する