Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

Rho

Microsofts offenes 5B-VLA, vorab an drei verbreitete Zweiarmroboter angepasst

Lizenz

MIT

Überblick

Rho ist eine Familie von Vision-Language-Action-Modellen mit offenen Gewichten für zweiarmige Roboter von Microsoft Research, veröffentlicht im September 2026 unter der MIT-Lizenz. Jedes Modell hat etwa 5 Milliarden Parameter: ein 4,68B großes Vision-Language-Modell der Phi-Familie mit zusätzlichem Training auf physikalischem Grounding, verbunden mit einem 542M großen Flow-Matching-Action-Expert, der jeweils etwa eine Sekunde Endeffektor-Bewegung ausgibt. Die Idee ist, in zwei Schritten anzupassen. Rho-base, vortrainiert auf mehr als 3.200 Stunden überwiegend zweiarmiger Roboterdaten, wird zunächst auf etwa 300 Stunden eines bestimmten Roboters nachtrainiert. Die veröffentlichten Checkpoints haben das bereits für die I²RT YAM Box, den UR AI Trainer und das Franka FR3 Duo erledigt. Das Finetuning auf eine Aufgabe braucht dann weniger Demonstrationen. Der Code finetunt auf LeRobot-Datensätzen, evaluiert auf LIBERO und RoboEval und stellt eine Policy über einen Websocket bereit. Alle Gewichte und Datensätze liegen auf Hugging Face, die Methode beschreibt der technische Bericht.

Die meisten offenen VLAs werden breit vortrainiert und dann direkt auf eine Aufgabe finetunt, sodass die Demonstrationen Roboter und Aufgabe gleichzeitig beibringen müssen. Rhos Prämisse ist, zuerst den Roboter zu lernen. Zwischen Vortraining und Aufgaben-Finetuning liegt eine Phase des Embodiment-Midtrainings: zwei Epochen über rund 280 bis 300 Stunden Daten eines Roboters aus Dutzenden Aufgabenfamilien. Sie soll keine Aufgabe meistern, sondern die Kameras, Kinematik, den Arbeitsraum und die Steuerkonventionen dieses Roboters aufnehmen. Die Autoren veröffentlichen diese Phase bereits erledigt für drei verbreitete Zweiarmplattformen, sodass ein Labor, das eine davon besitzt, mit einem Modell startet, das seine Hardware schon kennt.

Die Belege für die Idee stammen aus kontrollierten Vergleichen statt aus einer einzelnen Schlagzeile. Im Simulator RoboTwin 2.0 erreichte das nachtrainierte Modell denselben Erfolg wie Rho-base mit der Hälfte der Finetuning-Demonstrationen, mit dem größten Abstand beim kleinsten Datenbudget. Auf einem echten FR3 Duo ergaben dieselben 150 Demonstrationen zum Einstecken eines Steckers 60 % Erfolg mit Rho-base, 76,7 % nach einer Epoche Midtraining und 86,7 % mit dem veröffentlichten Checkpoint nach zwei Epochen. Auf dem BusyBox-Benchmark der YAM Box, mit etwa 2.000 Demonstrationen, erreichte das finetunte Rho-YAM-Box insgesamt 90 %, gleichauf mit π0.5 und vor GR00T N1.7 und MolmoAct2.

Das Release enthält auch eine Online-Phase. Eine kleine latente Policy im Modell lernt aus korrigierenden Eingriffen eines Menschen, während alles andere eingefroren bleibt. Im Bericht hoben 15 korrigierte Episoden die schwierigsten Konfigurationen der Reagenzglas-Montage auf dem FR3 Duo von 30 % auf 70 %. Die Zustands- und Aktionsschnittstelle ist generisch: bis zu 32 Dimensionen pro Schritt, maskiert, wenn ungenutzt. So kann dasselbe Modell Gelenk- oder Endeffektorsteuerung, Deltas oder absolute Ziele und einen oder zwei Arme bedienen.

Warum es wichtig ist

Der teure Teil beim Einsatz eines VLA ist nicht der Download, sondern die Anpassung an den eigenen Roboter und die eigene Aufgabe, was meist Hunderte Demonstrationen pro Aufgabe bedeutet. Rho verlagert den roboterspezifischen Teil dieser Kosten in einen veröffentlichten Checkpoint für drei Plattformen, die viele Labore bereits besitzen, unter der MIT-Lizenz. Der Bericht stützt die Behauptung mit kontrollierten Vergleichen gegen π0.5, GR00T N1.7 und MolmoAct2 auf echten Robotern. Außerdem erhalten offene VLAs damit eine vierte ernstzunehmende Familie aus einem großen Labor, neben OpenPI, GR00T und MolmoAct.

Welches Problem es löst

Wer ein allgemeines VLA auf eine neue Aufgabe finetunt, zwingt die Demonstrationen, Roboter und Aufgabe zugleich zu lehren. Rho trennt beides: Der Roboter wird einmal gelernt, in einem nachtrainierten Checkpoint, der für drei Zweiarmplattformen veröffentlicht ist, sodass das Aufgaben-Finetuning bei einem Modell beginnt, das die Hardware bereits kennt, und weniger Demonstrationen braucht. Eine leichte Online-Phase verbessert eine eingesetzte Policy anschließend weiter aus einer Handvoll menschlicher Korrekturen.

Wichtigste Punkte

  • VLA mit offenen Gewichten und 5B Parametern: ein 4,68B-VLM der Phi-Familie mit Training auf physikalischem Grounding plus ein 542M-Flow-Matching-Action-Expert
  • Rho-base ist auf mehr als 3.200 Stunden überwiegend zweiarmiger Roboterdaten vortrainiert und dann zu Varianten für YAM Box, UR AI Trainer und FR3 Duo nachtrainiert
  • In RoboTwin 2.0 erreichte das nachtrainierte Modell Rho-base mit der Hälfte der Finetuning-Demonstrationen
  • Das finetunte Rho-YAM-Box erreichte 90 % auf BusyBox, gleichauf mit π0.5 und vor GR00T N1.7 und MolmoAct2
  • Online-Anpassung aus 15 korrigierten Episoden hob die schwierigsten Reagenzglas-Konfigurationen auf dem FR3 Duo von 30 % auf 70 %
  • MIT-lizenzierter Code, Gewichte und Finetuning-Datensätze; finetunt auf LeRobot-Datensätzen und läuft über einen Websocket

Für wen

  • Labore mit einer I²RT YAM Box, einem UR AI Trainer oder einem Franka FR3 Duo, die eine vorab angepasste Start-Policy wollen
  • Teams, die offene VLAs für zweiarmige Manipulation vergleichen und eine starke MIT-lizenzierte Baseline brauchen
  • Forschende zu dateneffizienter Anpassung, Midtraining und Lernen aus menschlichen Korrekturen
  • LeRobot-Nutzer, die ein 5B-VLA auf eigenen Datensätzen finetunen wollen

Einschränkungen

  • Die 3.200 Stunden Vortrainingsdaten und die Midtraining-Daten pro Roboter sind nicht veröffentlicht; nur die Checkpoints, das BusyBox-Set und die Finetuning-Daten für LIBERO und RoboEval sind es
  • Vorab angepasste Varianten gibt es nur für drei Zweiarmplattformen; jeder andere Roboter startet bei Rho-base und braucht eigenes Midtraining oder mehr Aufgabendaten
  • Die Vergleiche sind die der Autoren, auf ihren Robotern und Protokollen; die Projektseite selbst sagt, dass drei Plattformen und eine Handvoll Benchmarks keine allgemeine Leistungsfähigkeit belegen
  • Aufgaben-Policies brauchen weiterhin etwa 100 bis 300 Demonstrationen auf einem echten Roboter; Midtraining verringert das, beseitigt es aber nicht
  • Training und Inferenz brauchen eine CUDA-GPU und FlashAttention 2, gebaut gegen ein CUDA-Toolkit; der Docker-Weg braucht etwa 100 GB Platz zum Bauen
  • Ende September 2026 veröffentlicht, daher noch ohne Erfahrungen von außen

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.