Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

ASPIRE

Agent de code qui écrit, débogue et garde des programmes robot comme compétences

Licence

Apache 2.0

Licences distinctes. Code propre à ASPIRE : Apache-2.0. Les dépendances récupérées sous forme de sous-modules Git ou de téléchargements conservent leurs propres conditions : Contact-GraspNet (portage PyTorch) est sous la Source Code License de NVIDIA pour la recherche et l'évaluation non commerciales ; le code de SAM 3 et ses poids à accès restreint sont sous la SAM License de Meta ; le paquet de données BEHAVIOR-1K est sous un CLUF (EULA) universitaire non commercial. LIBERO-PRO, robosuite et PyRoki sont sous MIT, et cuRobo sous Apache-2.0. Son exécution nécessite aussi un compte auprès d'une API payante de modèle de code, sauf en cas d'utilisation d'un modèle à poids ouverts. Vérifié le 2026-10-23.

Aperçu

ASPIRE (Agentic Skill Programming through Iterative Robot Exploration) est un système du laboratoire GEAR de NVIDIA dans lequel un agent de programmation, comme Claude Code ou Codex, programme un robot à la place d'une politique entraînée. Il reprend l'idée de Code as Policies : l'agent écrit du Python pour une API robot fixe, l'exécute, relit des traces détaillées de ce qui s'est passé, corrige le programme et recommence. Les corrections qu'un vérificateur parvient à reproduire sont enregistrées comme compétences réutilisables, si bien que la bibliothèque s'enrichit d'une tâche à l'autre. Le dépôt est sous licence Apache-2.0 et contient le harnais d'exécution, les compétences d'agent qui pilotent la boucle et des guides d'exécution pour chaque expérience de l'article. Il est évalué en simulation sur LIBERO-Pro, robosuite et BEHAVIOR-1K, et dans le monde réel sur une station bimanuelle YAM d'I2RT, où un agent a résolu un Rubik's Cube. La version 1.0 est sortie en octobre 2026. Il n'y a pas de poids de modèle : le « modèle entraîné » est le dossier de compétences.

Chaque exécution est une boucle entre un agent de programmation et un robot. L'agent reçoit une tâche et une API de programmation du robot faite de primitives de perception, de planification et de commande : segmentation avec SAM 3, propositions de saisie de Contact-GraspNet, cinématique inverse avec PyRoki et planification de mouvement avec cuRobo. Il écrit un court programme Python, que le moteur d'exécution lance dans le simulateur ou sur le robot en enregistrant des traces multimodales : images, poses des objets, contacts et résultat de chaque appel. L'agent lit ces traces pour comprendre pourquoi une exécution a échoué, modifie le programme et le relance.

Deux mécanismes font que le travail se cumule. Une bibliothèque de compétences conserve les corrections qu'un vérificateur a reproduites sur la tâche d'origine, sous forme de texte et de code que l'agent peut retrouver plus tard ; une réparation apprise sur une tâche sert ainsi pour la suivante. Une recherche évolutionnaire exécute de nombreuses variantes de programme en parallèle et débogue chacune, ce qui trouve des stratégies qu'une seule ligne de réparation manquerait. L'article montre que des compétences apprises sur LIBERO-90 se transfèrent à des tâches à long horizon inédites, et que des compétences trouvées en simulation sur un bras Franka réduisent l'effort de programmation d'un autre robot dans le monde réel.

Le dépôt fournit la boucle sous forme de compétences d'agent pour Claude Code et Codex (iterative-debugging et evosearch), avec un harnais en ligne de commande (cap-harness) pour lancer et valider des épisodes. Les backends de simulation sont LIBERO-Pro et robosuite sur MuJoCo, et BEHAVIOR-1K sur Isaac Sim via OmniGibson. L'adaptateur pour robot réel pilote deux bras YAM à six articulations via CAN, avec configuration de station, étalonnage des caméras et guide pour l'opérateur. Des recettes tirées de sessions de démonstration couvrent le Rubik's Cube, dévisser une bouteille et verser, mettre un comprimé dans un flacon et le refermer, et emboîter des gobelets.

Les résultats dépendent du modèle qui pilote l'agent. Sur dix tâches LIBERO-Pro Goal avec perturbation de position, le taux de réussite passe de 15 % avec GPT-6 Luna à 99 % avec Claude Opus 5.5 et Sonnet 5.5. Le meilleur modèle à poids ouverts testé, Kimi K3, atteint 78 %. Avec Claude Opus 5.5, l'article rapporte 99 % de réussite moyenne sur les 80 tâches de LIBERO-Pro et 100 % sur des tâches représentatives de robosuite et BEHAVIOR-1K.

Pourquoi c'est important

La plupart des projets récents d'apprentissage robotique améliorent un robot en entraînant un réseau sur davantage de démonstrations. ASPIRE montre une autre voie, désormais praticable : laisser un modèle de programmation puissant écrire le contrôleur, le déboguer d'après ce que le robot a réellement fait, et garder ce qui fonctionne sous forme de code lisible. Le résultat peut être inspecté, modifié et réutilisé d'une tâche et d'un robot à l'autre, ce que les poids d'une politique ne permettent pas. Comme tout le harnais est ouvert, guides et compétences d'agent compris, un laboratoire peut reproduire les chiffres du benchmark ou appliquer la même boucle à ses propres tâches et voir jusqu'où va le modèle choisi.

Le problème résolu

Programmer un robot à la main, c'est coordonner perception, contact et reprise après échec pour chaque nouvelle tâche et chaque installation, et ce travail sert rarement pour la tâche suivante. ASPIRE donne à un agent de programmation les moyens de faire ce travail lui-même : une API robot, des traces d'exécution riches pour déboguer, une recherche sur des variantes de programme et une bibliothèque qui garde les corrections vérifiées, pour que les tâches suivantes partent de ce que les précédentes ont appris.

Points clés

  • Un agent de programmation (Claude Code ou Codex) écrit du Python pour une API robot, l'exécute, lit les traces d'exécution et corrige le programme
  • Les corrections vérifiées sont conservées dans une bibliothèque de compétences réutilisable ; une recherche évolutionnaire explore de nombreuses variantes de programme en parallèle
  • Avec Claude Opus 5.5, l'article rapporte 99 % de réussite moyenne sur les 80 tâches de LIBERO-Pro et 100 % sur des tâches représentatives de robosuite et BEHAVIOR-1K
  • Sur une vraie station bimanuelle YAM, un agent a résolu un Rubik's Cube ; des compétences trouvées en simulation ont réduit l'effort de programmation d'un autre robot réel
  • La réussite dépend du modèle : de 15 % à 99 % sur les douze testés, le meilleur modèle à poids ouverts (Kimi K3) atteignant 78 %
  • Le code propre d'ASPIRE est sous Apache-2.0, mais certaines parties de la pile complète – Contact-GraspNet, SAM 3 et les ressources BEHAVIOR-1K – ont leurs propres conditions restrictives

Pour qui

  • Chercheurs qui étudient les agents LLM pour la programmation de robots, Code as Policies et l'apprentissage continu
  • Laboratoires qui veulent reproduire ou étendre des résultats sur LIBERO-Pro, robosuite ou BEHAVIOR-1K
  • Équipes disposant d'une station bimanuelle YAM, ou d'un autre bras qu'elles peuvent intégrer à l'API robot, qui veulent qu'un agent programme de nouvelles tâches
  • Toute personne qui compare les performances de différents modèles de pointe et à poids ouverts comme programmeurs de robots

Limites

  • Nécessite un modèle de code performant et son API. Sur le benchmark LIBERO-Pro à dix tâches de l'article, le coût d'API estimé par tâche aux prix catalogue allait de 0,83 $ (GPT-6 Luna, 15 % de réussite) à environ 60 $ (Claude Opus 5.5) ; le modèle le moins cher au-dessus de 95 % de réussite était Claude Sonnet 5.5, à environ 12 $ par tâche
  • Fonctionne sous Linux x86-64 avec un GPU NVIDIA ; les profils matériels de référence sont RTX 4090, RTX 5090 et L40, et BEHAVIOR-1K ajoute Isaac Sim, 32 Go de RAM et environ 50 Go de disque
  • Les poids de SAM 3 sont soumis à autorisation sur Hugging Face et nécessitent une demande d'accès approuvée et un jeton
  • Plusieurs dépendances ne sont pas open source au sens de l'OSI : Contact-GraspNet est sous la licence non commerciale de NVIDIA, SAM 3 sous la licence SAM de Meta, et le paquet d'éléments BEHAVIOR-1K sous un CLUF académique non commercial
  • Les programmes générés s'exécutent avec un accès complet aux imports Python ; le projet avertit qu'il ne s'agit pas d'un bac à sable, demande un hôte isolé sans identifiants, et de ne jamais donner à un agent de simulation l'accès à du matériel réel
  • Les agents sont limités aux primitives exposées par l'API du robot ; les tâches qui nécessitent de nouvelles capacités de perception ou de commande exigent d'abord qu'un humain étende l'API

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.