Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

ROSA

L'agente IA del NASA JPL che permette di parlare con i robot ROS in linguaggio naturale

Licenza

Apache-2.0

Panoramica

ROSA (Robot Operating System Agent) è un agente IA open source del Jet Propulsion Laboratory della NASA che collega i grandi modelli linguistici ai robot ROS 1 e ROS 2. Costruito sul framework LangChain, trasforma richieste in linguaggio naturale (“quali topic stanno pubblicando?”, “la telecamera funziona bene?”, “avanza di un metro”) in vere operazioni di introspezione e comandi ROS, con un sistema di strumenti che gli sviluppatori estendono con abilità e vincoli di sicurezza specifici per il robot.

ROSA avvolge un LLM in un insieme curato di strumenti ROS: da subito può elencare i topic e mostrarne i messaggi, ispezionare nodi, servizi, parametri e sistemi di coordinate TF, leggere log e diagnostica e spiegare in linguaggio semplice ciò che trova. Gli sviluppatori registrano strumenti Python aggiuntivi per esporre capacità specifiche del robot (comandi di movimento, azioni di missione, controllo degli strumenti di bordo) e l'impalcatura di prompt di ROSA si occupa del ragionamento su quale strumento usare. Supporta sia ROS 1 sia ROS 2 tramite un livello di adattamento trasparente, funziona con LLM ospitati o locali e include demo, tra cui un agente TurtleSim ed esempi di integrazione usati su piattaforme di ricerca del JPL come il robot NeBula-Spot. Poiché l'agente opera tramite chiamate a strumenti esplicite e verificabili anziché con accesso diretto alla shell, i team possono delimitare con esattezza ciò che il modello può fare al robot.

Perché è importante

ROSA è uno dei primi ponti seri e sostenuti da un'istituzione tra agenti LLM e middleware robotico reale, l'ingegneria del NASA JPL applicata al problema del “parlare con il proprio robot”, ed è arrivato proprio mentre il settore converge verso interfacce in linguaggio naturale per le operazioni e la diagnostica dei robot.

Il problema che risolve

L'introspezione ROS ha una curva di apprendimento ripida: diagnosticare un robot significa memorizzare formule rostopic/ros2topic e analizzare muri di output nel terminale. ROSA permette a operatori, studenti e persino sviluppatori esperti di interrogare e comandare i robot conversando, con limiti di sicurezza definiti dall'integratore.

Punti chiave

  • Interfaccia in linguaggio naturale per ROS 1 e ROS 2: topic, nodi, servizi, parametri, TF, log
  • Costruito su LangChain con un sistema estendibile di strumenti Python per abilità specifiche del robot
  • L'architettura a chiamate esplicite di strumenti mantiene l'accesso dell'LLM al robot delimitato e verificabile
  • Funziona con LLM ospitati o locali; include demo TurtleSim e dei robot del JPL
  • Con licenza Apache-2.0 e sviluppato apertamente dal NASA JPL

A chi si rivolge

  • Sviluppatori ROS che aggiungono diagnostica conversazionale
  • Operatori di robot e tecnici sul campo
  • Ricercatori di interazione uomo-robot
  • Docenti che abbassano la barriera d'ingresso a ROS

Limiti

  • La qualità e la sicurezza delle risposte dipendono dall'LLM sottostante e dalla progettazione degli strumenti da parte dell'integratore
  • La latenza dell'LLM lo rende un supporto alle operazioni, non un percorso di controllo in tempo reale
  • Comandare hardware reale tramite un LLM richiede vincoli e revisioni progettati con cura

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.