RAI

Cadre d'agents neutre vis-à-vis des fournisseurs pour les robots ROS 2 et l'IA physique

Licence

Apache-2.0

Aperçu

RAI est un cadre agentique neutre vis-à-vis des fournisseurs pour l'IA physique, construit par Robotec.ai sur l'outillage ROS 2 et maintenu depuis mi-2024. Moins un agent qu'un ensemble de paquets que l'on compose : rai core pour le système multi-agents et l'interaction humain-robot, rai_whoami pour synthétiser l'autodescription d'un robot à partir d'un répertoire structuré de documentation, d'images et d'URDF, rai_asr et rai_tts pour la parole en entrée et en sortie, rai_perception pour la détection d'objets en ensemble ouvert, rai_sim pour relier des simulateurs, rai_bench pour évaluer agents et modèles, et rai_nomad pour la navigation. Les démonstrations tournent sur des plateformes réelles : un tracteur autonome de verger, un Franka Panda en manipulation guidée par le langage et un Husarion ROSbot XL en navigation.

Le choix de conception qui le distingue est dans son nom : neutre vis-à-vis des fournisseurs. RAI ne présuppose ni un fournisseur de modèles ni un robot particuliers — il présuppose ROS 2 et construit par-dessus. Cela en fait le plus conservateur des cadres agentiques actuels en robotique, et conservateur est ici le mot juste : maintenu depuis juin 2024, soit plus d'un an avant la vague de projets comparables, et cela se voit dans la structure. Parole, perception, simulation et évaluation sont des paquets distincts avec leurs propres frontières plutôt que des fonctions d'un monolithe.

rai_whoami mérite d'être cité à part, car il traite un problème que les autres ignorent généralement : un agent qui pilote un robot doit savoir ce qu'est ce robot. Il extrait et synthétise l'information d'incarnation depuis un répertoire structuré de documentation, d'images et d'URDF, réponse concrète à une question d'ordinaire laissée à l'ingénierie de prompt. rai_bench compte pour la même raison : un cadre qui livre sa propre suite d'évaluation est un cadre qui s'attend à être mesuré. Des paquets listés, seul rai_finetune, pour affiner des modèles de langage sur des données incarnées, reste non coché sur la feuille de route.

Pourquoi c'est important

Les cadres agentiques pour robots sont arrivés tous ensemble en 2026 et la plupart ont quelques mois. RAI existe depuis avant cette vague, vient d'une maison de logiciel robotique et non d'un laboratoire, et se construit sur ROS 2 plutôt qu'autour d'un modèle particulier. Pour qui décide sur quoi bâtir plutôt que quoi lire, la longévité et la neutralité de fournisseur sont les deux propriétés qui comptent vraiment, et c'est l'entrée de la catégorie qui possède les deux.

Le problème résolu

Relier un modèle de langage à un robot revient d'ordinaire à écrire soi-même la colle : la parole, la perception, la description de ce qu'est même le robot, et un moyen de savoir si le résultat fonctionne. RAI fournit cela sous forme de paquets ROS 2 séparés, adoptables un à un, sans s'engager envers un fournisseur de modèles ni de robots.

Points clés

• Neutre vis-à-vis des fournisseurs par conception : aucun fournisseur de modèles présupposé, aucun robot présupposé, bâti sur l'outillage ROS 2
• Composé de paquets distincts — core, whoami, asr, tts, perception, sim, bench, nomad — plutôt que d'un monolithe
• rai_whoami synthétise la description d'incarnation du robot à partir de sa documentation, de ses images et de ses URDF, la pièce que la plupart des cadres laissent à l'ingénierie de prompt
• rai_bench livre une suite d'évaluation pour agents, modèles, outils et simulateurs aux côtés du cadre lui-même
• Les démonstrations tournent sur des plateformes réelles : tracteur autonome de verger, Franka Panda avec Grounded SAM 2 et un Husarion ROSbot XL
• Maintenu depuis juin 2024, plus d'un an avant la vague de cadres comparables de 2026
• Multimodal par construction : parole entrante et sortante, vision et interfaces texte sont de première classe

Pour qui

• Équipes ROS 2 ajoutant l'interaction en langage naturel à une pile robotique existante
• Quiconque construit un comportement robotique multi-agents ou multimodal sans vouloir être lié à un seul fournisseur de modèles
• Chercheurs qui ont besoin d'une suite d'évaluation du comportement d'agent et pas seulement d'un environnement d'exécution
• Intégrateurs de robots mobiles, de manipulateurs ou de machines agricoles sur ROS 2

Limites

• ROS 2 est présupposé de bout en bout — il n'y a ici aucun chemin pour un robot qui n'y est pas déjà
• L'ampleur a un coût : huit paquets de maturité inégale, et rai_finetune reste non coché sur la feuille de route
• Les démonstrations sont d'abord en simulation ; le tracteur et le ROSbot XL montrent le cadre dans un simulateur, pas des images de machines déployées
• Neutre vis-à-vis des fournisseurs signifie que le modèle et les clés viennent de vous : l'exécution n'est donc pas gratuite et la qualité tient à des choix que le cadre ne fait pas à votre place
• La documentation vit sur un site distinct et non dans le dépôt, le README seul ne dit donc pas comment démarrer
• Un cadre de cette ampleur est un engagement ; adopter un paquet est facile, adopter l'architecture ne l'est pas