OpenVLA

Vision-Language-Action-Modell mit 7B Parametern für robotische Manipulation

Lizenz

MIT

Überblick

Ein Open-Source-Vision-Language-Action-Modell mit 7B Parametern für robotische Manipulation. OpenVLA ist auf 970k realen Roboterdemonstrationen trainiert und übertrifft RT-2-X (55B) bei der absoluten Aufgabenerfolgsrate über 29 Aufgaben um 16,5 %, mit 7-mal weniger Parametern. Es basiert auf dem Sprachmodell Llama 2 in Kombination mit den visuellen Encodern DINOv2 und SigLIP, lässt sich auf Consumer-GPUs feinabstimmen und zeigt eine starke Generalisierung in Multi-Task-Umgebungen mit robustem Language Grounding.

OpenVLA ist ein Open-Source-Vision-Language-Action-Modell (VLA) mit 7B Parametern für universelle robotische Manipulation. Trainiert auf 970.000 realen Roboterdemonstrationen über 29 Aufgaben, erreicht es eine Leistung auf dem neuesten Stand der Technik und ist dabei 7-mal kleiner als vergleichbare Modelle wie RT-2-X (55B Parameter). OpenVLA basiert auf dem Sprachmodell Llama 2 in Kombination mit den visuellen Encodern DINOv2 und SigLIP, zeigt außergewöhnliche Generalisierungsfähigkeiten in Multi-Task-Umgebungen und lässt sich auf Consumer-GPUs feinabstimmen, wodurch fortschrittliche Robotik-KI für Forschende und Entwickler weltweit zugänglich wird.

Warum es wichtig ist

OpenVLA hat gezeigt, dass ein Modell mit 7 Milliarden Parametern deutlich größere Modelle (RT-2-X mit 55 Milliarden) bei der Roboter-Manipulation übertreffen kann, wodurch Vision-Language-Action-Modelle auf Consumer-Hardware praktikabel werden. Es bewies, dass Open-Source-Roboter-Grundlagenmodelle mit proprietären Alternativen konkurrieren können.

Welches Problem es löst

Frühere Roboter-Foundation-Modelle wie RT-2-X erforderten enorme Rechenleistung (55 Milliarden Parameter), wodurch sie für die meisten Forscher unzugänglich waren. OpenVLA zeigt, dass effiziente Architekturen bessere Ergebnisse zu einem Bruchteil der Kosten erzielen können und demokratisiert damit die Forschung an Roboter-Foundation-Modellen.

Wichtigste Punkte

• Übertrifft RT-2-X (55B) um 16,5 % mit 7-mal weniger Parametern
• Baut auf Llama 2 + DINOv2 + SigLIP auf – nutzt bewährte LLM- und Vision-Backbones
• Mit LoRA auf einer einzelnen GPU feinjustierbar (die Autoren nutzen eine A100)
• Trainiert mit 970K realen Roboterdemonstrationen
• Starke Sprachverankerung ermöglicht das Befolgen von Anweisungen über 29 Aufgaben hinweg

Für wen

• ML-Forscher mit begrenzten Rechenbudgets
• Robotik-Labore, die für spezifische Aufgaben feinabstimmen
• Studierende, die Vision-Language-Action-Modelle erkunden
• Unternehmen, die Roboter-Grundlagenmodell-Ansätze evaluieren

Einschränkungen

• Hauptsächlich auf Tisch-Manipulation trainiert – auf ähnliche Szenarien beschränkt
• Erfordert GPU für Inferenz (ohne Optimierung nicht für Edge-Deployment geeignet)
• Feinabstimmung erfordert weiterhin reale Roboter-Demonstrationsdaten
• Sprachverständnis funktioniert am besten bei einfachen Aufgabenanweisungen