RAI

Herstellerneutrales Agenten-Framework für ROS-2-Roboter und Physical AI

Lizenz

Apache-2.0

Überblick

RAI ist ein herstellerneutrales Agenten-Framework für Physical AI, gebaut von Robotec.ai auf ROS-2-Werkzeugen und seit Mitte 2024 gepflegt. Es ist weniger ein Agent als ein Satz Pakete, die man zusammensetzt: rai core für das Multi-Agenten-System und die Mensch-Roboter-Interaktion, rai_whoami, das die Selbstbeschreibung eines Roboters aus einem strukturierten Verzeichnis von Dokumentation, Bildern und URDFs synthetisiert, rai_asr und rai_tts für Sprache hinein und hinaus, rai_perception für Open-Set-Objekterkennung, rai_sim zur Anbindung von Simulatoren, rai_bench zum Benchmarken von Agenten und Modellen und rai_nomad für Navigation. Die Demos laufen auf realen Plattformen — einem autonomen Obstplantagen-Traktor, einem Franka Panda mit sprachgeführter Manipulation und einem navigierenden Husarion ROSbot XL.

Die unterscheidende Entwurfsentscheidung steht im Namen: herstellerneutral. RAI setzt keinen bestimmten Modellanbieter voraus und keinen bestimmten Roboter — es setzt ROS 2 voraus und baut darauf auf. Das macht es zum konservativsten der derzeitigen agentischen Robotik-Frameworks, und konservativ ist hier das richtige Wort: gepflegt seit Juni 2024, also weit über ein Jahr vor der Welle vergleichbarer Projekte, und man sieht es der Struktur an. Sprache, Wahrnehmung, Simulation und Benchmarking sind eigene Pakete mit eigenen Grenzen statt Funktionen eines Monolithen.

rai_whoami verdient eine eigene Erwähnung, weil es ein Problem angeht, das die anderen meist übergehen: ein Agent, der einen Roboter steuert, muss wissen, was dieser Roboter ist. Es extrahiert und synthetisiert Verkörperungsinformationen aus einem strukturierten Verzeichnis von Dokumentation, Bildern und URDFs — eine konkrete Antwort auf eine Frage, die sonst dem Prompt-Engineering überlassen bleibt. rai_bench zählt aus demselben Grund: ein Framework, das seine eigene Benchmark-Suite mitliefert, erwartet, gemessen zu werden. Von den aufgeführten Paketen ist allein rai_finetune, zum Feinabstimmen von Sprachmodellen auf verkörperten Daten, auf der Roadmap noch offen.

Warum es wichtig ist

Agentische Frameworks für Roboter kamen 2026 alle auf einmal, und die meisten sind Monate alt. RAI läuft seit vor dieser Welle, stammt von einem Robotik-Softwarehaus statt aus einem Labor und ist auf ROS 2 statt um ein bestimmtes Modell herum gebaut. Für jemanden, der entscheidet, worauf er baut, statt was er liest, sind Langlebigkeit und Herstellerneutralität die beiden Eigenschaften, auf die es ankommt — und dies ist der Eintrag der Kategorie, der beide hat.

Welches Problem es löst

Ein Sprachmodell an einen Roboter anzuschließen heißt meist, den Klebstoff selbst zu schreiben: Sprache, Wahrnehmung, die Beschreibung dessen, was der Roboter überhaupt ist, und irgendeine Art festzustellen, ob das Ergebnis taugt. RAI liefert das als eigenständige ROS-2-Pakete, die sich einzeln übernehmen lassen, ohne sich auf einen Modell- oder Roboterhersteller festzulegen.

Wichtigste Punkte

• Herstellerneutral von Grund auf: kein vorausgesetzter Modellanbieter, kein vorausgesetzter Roboter, gebaut auf ROS-2-Werkzeugen
• Zusammengesetzt aus eigenständigen Paketen — core, whoami, asr, tts, perception, sim, bench, nomad — statt aus einem Monolithen
• rai_whoami synthetisiert die Verkörperungsbeschreibung eines Roboters aus dessen Dokumentation, Bildern und URDFs — genau das Stück, das die meisten Agentenframeworks dem Prompt-Engineering überlassen
• rai_bench liefert eine Benchmark-Suite für Agenten, Modelle, Werkzeuge und Simulatoren zusammen mit dem Framework selbst
• Demos laufen auf realen Plattformen: autonomer Obstplantagen-Traktor, Franka Panda mit Grounded SAM 2 und ein Husarion ROSbot XL
• Gepflegt seit Juni 2024 und damit mehr als ein Jahr vor der Welle vergleichbarer Frameworks von 2026
• Multimodal von Bau aus — Sprache hinein und hinaus, Vision und Textschnittstellen sind erstklassig

Für wen

• ROS-2-Teams, die einem bestehenden Roboterstack natürlichsprachliche Interaktion hinzufügen
• Alle, die multi-agentes oder multimodales Roboterverhalten bauen und sich nicht an einen Modellanbieter binden wollen
• Forschende, die eine Benchmark-Suite für Agentenverhalten brauchen und nicht bloß eine Laufzeitumgebung
• Integratoren für mobile Roboter, Manipulatoren oder Landmaschinen auf ROS 2

Einschränkungen

• ROS 2 wird durchgehend vorausgesetzt — für einen Roboter, der nicht bereits darauf läuft, gibt es hier keinen Weg
• Breite hat ihren Preis: acht Pakete mit unterschiedlichem Reifegrad, und rai_finetune ist auf der Roadmap noch offen
• Die Demos sind simulationsorientiert; Traktor und ROSbot XL zeigen das Framework im Simulator, nicht Aufnahmen ausgelieferter Maschinen
• Herstellerneutral heißt, dass Modell und Schlüssel von Ihnen kommen — der Betrieb ist also nicht kostenlos, und die Qualität hängt an Entscheidungen, die das Framework nicht für Sie trifft
• Die Dokumentation liegt auf einer eigenen Seite statt im Repository, die README allein sagt also nicht, wie man anfängt
• Ein Framework dieses Umfangs ist eine Festlegung; ein Paket zu übernehmen ist leicht, die Architektur zu übernehmen nicht