RAI

Framework di agenti indipendente dal fornitore per robot ROS 2 e physical AI

Licenza

Apache-2.0

Panoramica

RAI è un framework agentico indipendente dal fornitore per la physical AI, sviluppato da Robotec.ai sugli strumenti di ROS 2 e mantenuto dalla metà del 2024. Anziché essere un singolo agente, è un insieme di pacchetti da comporre: rai core per il sistema multi-agente e l'interazione uomo-robot, rai_whoami per sintetizzare l'autodescrizione di un robot dalla sua documentazione, dalle immagini e dagli URDF, rai_asr e rai_tts per la voce in ingresso e in uscita, rai_perception per il rilevamento di oggetti a insieme aperto, rai_sim per collegarsi ai simulatori, rai_bench per il benchmarking di agenti e modelli, e rai_nomad per la navigazione. Le demo girano su piattaforme reali: un trattore autonomo da frutteto, un Franka Panda che esegue manipolazione guidata dal linguaggio e un Husarion ROSbot XL in navigazione.

La scelta progettuale che lo distingue è nel nome: indipendente dal fornitore. RAI non presuppone un particolare fornitore di modelli né un particolare robot: presuppone ROS 2 e costruisce verso l'alto. Questo lo rende il più conservativo dell'attuale generazione di framework di robotica agentica, e conservativo è la parola giusta: è mantenuto da giugno 2024, il che anticipa di ben oltre un anno l'ondata di progetti simili, e si vede nella struttura. Voce, percezione, simulazione e benchmarking sono pacchetti separati con confini propri, anziché funzionalità di un unico monolite.

rai_whoami è il componente che merita di essere evidenziato, perché affronta un problema che gli altri per lo più ignorano: un agente che guida un robot deve sapere che cos'è il robot. Estrae e sintetizza le informazioni sull'embodiment da una directory strutturata di documentazione, immagini e URDF, il che è una risposta concreta a una domanda di solito lasciata al prompt engineering. rai_bench conta per lo stesso motivo: un framework che include una propria suite di benchmarking è un framework che si aspetta di essere misurato. Tra i pacchetti elencati, solo rai_finetune, per il fine-tuning di modelli linguistici su dati embodied, è ancora non spuntato nella roadmap.

Perché è importante

I framework agentici per robot sono arrivati tutti insieme nel 2026 e la maggior parte ha pochi mesi di vita. RAI esiste da prima dell'ondata, viene da una software house di robotica anziché da un laboratorio, ed è costruito su ROS 2 anziché attorno a un modello specifico. Per un lettore che deve decidere su cosa costruire, e non su cosa leggere, longevità e neutralità rispetto ai fornitori sono le due proprietà che contano davvero, e questa è la voce della categoria che le ha entrambe.

Il problema che risolve

Collegare un modello linguistico a un robot di solito significa scrivere da sé il codice di raccordo: voce, percezione, la descrizione di che cosa sia il robot e un modo per capire se il risultato funziona. RAI fornisce tutto questo come pacchetti ROS 2 separati che si possono adottare singolarmente, senza vincolarsi a un fornitore di modelli o di robot.

Punti chiave

Indipendente dal fornitore per progetto: nessun fornitore di modelli presupposto, nessun robot presupposto, costruito sugli strumenti di ROS 2
Composto da pacchetti separati (core, whoami, asr, tts, perception, sim, bench, nomad) anziché da un unico monolite
rai_whoami sintetizza la descrizione dell'embodiment di un robot dalla sua documentazione, dalle immagini e dagli URDF, il componente che la maggior parte dei framework di agenti lascia al prompt engineering
rai_bench include una suite di benchmarking per agenti, modelli, strumenti e simulatori insieme al framework stesso
Le demo girano su piattaforme reali: un trattore autonomo da frutteto, un Franka Panda con Grounded SAM 2 e un Husarion ROSbot XL
Mantenuto da giugno 2024, il che anticipa di oltre un anno l'ondata 2026 di framework comparabili
Multimodale per costruzione: voce in ingresso e in uscita, visione e interfacce testuali sono di prima classe

A chi si rivolge

Team ROS 2 che aggiungono l'interazione in linguaggio naturale a uno stack robotico esistente
Chiunque costruisca comportamenti robotici multi-agente o multimodali senza volersi legare a un solo fornitore di modelli
Ricercatori che hanno bisogno di una suite di benchmarking per il comportamento degli agenti e non solo di un runtime
Integratori che lavorano su robot mobili, bracci robotici o macchine da campo con ROS 2

Limiti

ROS 2 è presupposto ovunque: qui non c'è una strada per un robot che non lo usi già
L'ampiezza ha un costo: otto pacchetti con livelli di maturità diversi, e rai_finetune è ancora non spuntato nella roadmap
Le demo partono dalla simulazione: gli scenari del trattore da frutteto e del ROSbot XL mostrano il framework in un simulatore, non riprese di macchine in servizio
Indipendente dal fornitore significa che modello e chiavi li si fornisce da sé, quindi eseguirlo non è gratuito e la qualità dipende da scelte che il framework non fa al posto vostro
La documentazione si trova su un sito separato e non nel repository, quindi il solo README non spiega come iniziare
Un framework di questa portata è un impegno: adottare un pacchetto è facile, adottare l'architettura no