quackd
Kommandozeilen-Agent, mit dem ein LLM Microduck, LeRobot-Arme und andere Roboter steuert
Lizenz
Apache-2.0
Überblick
quackd ist eine Kommandozeile, die ein großes Sprachmodell die Kontrolle über die eigenen Roboter übernehmen lässt. Jeder Roboter wird über einen Adapter eingebunden, der angibt, was für ein Körper es ist und welche Fähigkeiten er hat; das LLM betrachtet das Kamerabild und den Zustand des Roboters und wählt jeweils eine dieser Fähigkeiten aus, während die eigenen Regler des Roboters das Laufen und Greifen übernehmen. Es steuert den Microduck von Pollen Robotics, Open Duck Mini v2, einen LeRobot-SO-101-Arm, XLeRobot, AlohaMini, ToddlerBot und jede ROS-2-Basis von einem Laptop aus, einzeln oder mehrere zusammen, und lässt sich über MCP von Claude aus steuern. Apache-2.0, von Rok Benko.
quackd trennt die eigenen Fähigkeiten des Roboters vom Urteil des LLM. Ein Adapter veröffentlicht ein Manifest dessen, was ein Körper kann, etwa Sitzen, Stehen, Treten und Quaken beim Microduck oder Aufnehmen und Ablegen bei einem Arm, und ein Verb, das nicht im Manifest steht, existiert nicht. In jedem Zug sieht das Pilot-LLM das Kamerabild, den Zustand und das letzte Ergebnis und wählt ein Verb mit seinen Parametern; quackd prüft es gegen eine Allowlist, ein Budget und Bestätigungsregeln, führt es aus, beobachtet das Ergebnis und fragt erneut, bis die Aufgabe erledigt ist oder als unmöglich beurteilt wird.
Der Pilot kann ein Modell eines von zwölf Cloud-Anbietern sein oder ein lokales Modell über Ollama, vLLM, llama.cpp oder LM Studio, und Claude kann über den MCP-Server von quackd einen Roboter oder einen ganzen Schwarm steuern. Mehrere Roboter können sich eine Aufgabe teilen und die Arbeit untereinander aufteilen, und Notizen aus früheren Läufen fließen in den nächsten ein.
Ohne Roboter lässt es sich in einem 2D-Cartoon-Simulator ausprobieren, in MuJoCo mit der eigenen trainierten Laufstrategie (Policy) des Microduck, im Simulator des SO-101-Arms oder in einer Browser-Demo. Das README gibt für jeden Roboter an, wie weit er tatsächlich gekommen ist: In Version 0.32 ist einer der neun Körper, ein SO-101-Arm, auf echter Hardware gelaufen.
Warum es wichtig ist
Kleine offene Roboter wie Microduck und Open Duck Mini werden mit einer Handvoll trainierter Bewegungen ausgeliefert, aber ohne Möglichkeit, diese zu einer Aufgabe zu verketten. quackd gibt ihnen ein externes Gehirn, ohne dass etwas neu trainiert werden muss: Das LLM plant, die eigenen Regler des Roboters bewegen, und dieselben Befehle funktionieren über sehr unterschiedliche Körper hinweg. Zudem ist es ungewöhnlich ehrlich darüber, was auf Hardware gelaufen ist und was nur in der Simulation.
Welches Problem es löst
Jeder offene Roboter bringt sein eigenes SDK und seine eigenen festen Verhaltensweisen mit, sodass man, um einen davon einen Ball finden und schießen oder mehrere zusammenarbeiten zu lassen, für jeden Körper Glue-Code schreiben muss. quackd stellt allen eine einzige Kommandozeile und ein einziges Regelwerk voran, sodass ein in einfachen Worten formuliertes Ziel zu einer Abfolge der echten Fähigkeiten des Roboters wird.
Wichtigste Punkte
- Ein LLM wählt pro Schritt eine der eigenen Fähigkeiten des Roboters; die Regler des Roboters übernehmen die Bewegung
- Neun Roboter-Adapter, darunter Microduck, Open Duck Mini v2, ein SO-101-Arm, XLeRobot und jede ROS-2-Basis
- Funktioniert mit zwölf Cloud-LLM-Anbietern oder lokalen Modellen sowie mit Claude über MCP
- Mehrere Roboter können sich eine Aufgabe teilen, und ein Gedächtnis überträgt Notizen zwischen Läufen
- 2D-, MuJoCo- und Browser-Simulatoren ermöglichen das Ausprobieren ohne Roboter
Für wen
- Besitzer kleiner offener Roboter wie Microduck, Open Duck Mini oder eines SO-101-Arms, die diese Aufgaben in einfacher Sprache ausführen lassen möchten
- Entwickler von LLM-Agenten, die über echte Roboterfähigkeiten handeln, auch über MCP von Claude aus
- Forschende, die Multi-Roboter-Koordination in der Simulation erproben, bevor sie Hardware einsetzen
Einschränkungen
- Nur einer der neun Körper, ein SO-101-Arm, ist auf echter Hardware gelaufen (15. und 23. September 2026); der Microduck selbst ist nur in der Simulation gelaufen
- Der Standardsimulator ist ein Cartoon, der die Agentenschleife testet, nicht die Physik; nur der Microduck und der Arm haben Physiksimulatoren
- Der Erfolg eines Einzellaufs ist die eigene Behauptung des LLM und wird nur in der Simulation mit der Ground Truth abgeglichen
- Schwärme, LAN-Erkennung und der Roboter-zu-Roboter-Pass sind nur auf einem einzigen Rechner oder in der Simulation gelaufen
- Jeder Schritt ist ein LLM-Aufruf, daher kosten Läufe API-Zeit und Geld, sofern kein lokales Modell verwendet wird
- Ein junges Projekt: im August 2026 entstanden und in schneller Veränderung