Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

quackd

Agent en ligne de commande qui permet à un LLM de piloter Microduck, des bras LeRobot et d'autres robots

Licence

Apache-2.0

Aperçu

quackd est une ligne de commande qui confie à un grand modèle de langage la conduite des robots que vous possédez. Chaque robot s'intègre via un adaptateur qui déclare de quel corps il s'agit et de quelles compétences il dispose ; le LLM regarde la caméra et l'état du robot et choisit une de ces compétences à la fois, tandis que les propres contrôleurs du robot assurent la marche et la préhension. Il pilote le Microduck de Pollen Robotics, Open Duck Mini v2, un bras LeRobot SO-101, XLeRobot, AlohaMini, ToddlerBot et toute base ROS 2 depuis un ordinateur portable, seuls ou à plusieurs, et peut être piloté depuis Claude via MCP. Apache-2.0, par Rok Benko.

quackd sépare les compétences propres du robot et le jugement du LLM. Un adaptateur publie un manifeste de ce qu'un corps sait faire, par exemple s'asseoir, se lever, donner un coup de pied et cancaner pour un Microduck, ou saisir et déposer pour un bras, et un verbe absent du manifeste n'existe pas. À chaque tour, le LLM pilote voit l'image de la caméra, l'état et le dernier résultat, et choisit un verbe avec ses paramètres ; quackd le vérifie par rapport à une liste d'autorisation, un budget et des règles de confirmation, l'exécute, observe le résultat et redemande jusqu'à ce que la tâche soit accomplie ou jugée impossible.

Le pilote peut être un modèle de l'un des douze fournisseurs cloud ou un modèle local via Ollama, vLLM, llama.cpp ou LM Studio, et Claude peut piloter un robot ou toute une volée via le serveur MCP de quackd. Plusieurs robots peuvent partager une tâche en se répartissant le travail, et les notes des exécutions précédentes alimentent la suivante.

Sans robot, vous pouvez l'essayer dans un simulateur 2D façon dessin animé, dans MuJoCo avec la politique de marche entraînée propre au Microduck, dans le simulateur du bras SO-101 ou dans une démo sur navigateur. Le README indique pour chaque robot jusqu'où il est réellement allé : en version 0.32, un des neuf corps, un bras SO-101, a fonctionné sur du vrai matériel.

Pourquoi c'est important

Les petits robots ouverts comme Microduck et Open Duck Mini sont livrés avec une poignée de mouvements entraînés, mais sans moyen de les enchaîner en une tâche. quackd leur donne un cerveau externe sans rien réentraîner : le LLM planifie, les propres contrôleurs du robot bougent, et les mêmes commandes fonctionnent sur des corps très différents. Il est aussi d'une honnêteté rare sur ce qui a tourné sur du matériel et ce qui n'a tourné qu'en simulation.

Le problème résolu

Chaque robot ouvert arrive avec son propre SDK et ses propres comportements figés, si bien que demander à l'un de trouver un ballon et de le frapper, ou à plusieurs de travailler ensemble, oblige à écrire du code de liaison pour chaque corps. quackd place une seule ligne de commande et un seul ensemble de règles devant tous, de sorte qu'un objectif formulé en mots simples devient une séquence des compétences réelles du robot.

Points clés

  • Un LLM choisit à chaque étape une des compétences propres du robot ; les contrôleurs du robot assurent le mouvement
  • Neuf adaptateurs de robots, dont Microduck, Open Duck Mini v2, un bras SO-101, XLeRobot et toute base ROS 2
  • Fonctionne avec douze fournisseurs de LLM cloud ou des modèles locaux, et avec Claude via MCP
  • Plusieurs robots peuvent partager une tâche, et la mémoire transmet des notes d'une exécution à l'autre
  • Des simulateurs 2D, MuJoCo et sur navigateur permettent de l'essayer sans robot

Pour qui

  • Propriétaires de petits robots ouverts comme Microduck, Open Duck Mini ou un bras SO-101 qui veulent leur faire exécuter des tâches en langage courant
  • Développeurs d'agents LLM qui agissent au moyen de vraies compétences robotiques, y compris via MCP depuis Claude
  • Chercheurs qui testent la coordination multi-robots en simulation avant le matériel

Limites

  • Un seul des neuf corps, un bras SO-101, a fonctionné sur du vrai matériel (15 et 23 septembre 2026) ; le Microduck lui-même n'a fonctionné qu'en simulation
  • Le simulateur par défaut est un dessin animé qui teste la boucle de l'agent, pas la physique ; seuls le Microduck et le bras disposent de simulateurs physiques
  • Le succès d'une exécution en solo est la propre affirmation du LLM, vérifiée par rapport à la vérité terrain uniquement en simulation
  • Les volées, la découverte sur LAN et le passeport de robot à robot n'ont fonctionné que sur une seule machine ou en simulation
  • Chaque étape est un appel au LLM, donc les exécutions coûtent du temps d'API et de l'argent, sauf si vous utilisez un modèle local
  • Un projet jeune : créé en août 2026 et en évolution rapide

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.