quackd
Agente de linha de comando que permite a um LLM comandar o Microduck, braços LeRobot e outros robôs
Licença
Apache-2.0
Visão geral
quackd é uma linha de comando que coloca um grande modelo de linguagem no comando dos robôs que você tem. Cada robô entra por meio de um adaptador que declara que corpo ele é e quais habilidades possui; o LLM olha a câmera e o estado do robô e escolhe uma dessas habilidades por vez, e os próprios controladores do robô cuidam de andar e agarrar. Ele comanda o Microduck da Pollen Robotics, o Open Duck Mini v2, um braço LeRobot SO-101, XLeRobot, AlohaMini, ToddlerBot e qualquer base ROS 2 a partir de um notebook, sozinhos ou vários juntos, e pode ser pilotado pelo Claude via MCP. Apache-2.0, de Rok Benko.
quackd mantém separadas as habilidades próprias do robô e o julgamento do LLM. Um adaptador publica um manifesto do que um corpo consegue fazer, como sentar, levantar, chutar e grasnar em um Microduck, ou pegar e posicionar em um braço, e um verbo que não está no manifesto não existe. A cada rodada, o LLM piloto vê o quadro da câmera, o estado e o último resultado e escolhe um verbo com seus parâmetros; o quackd o verifica contra uma lista de permissões, um orçamento e regras de confirmação, executa, observa o resultado e pergunta de novo até a tarefa estar concluída ou ser julgada impossível.
O piloto pode ser um modelo de um de doze fornecedores de nuvem ou um modelo local via Ollama, vLLM, llama.cpp ou LM Studio, e o Claude pode comandar um robô ou um bando inteiro pelo servidor MCP do quackd. Vários robôs podem dividir uma tarefa, repartindo o trabalho entre si, e as anotações de execuções anteriores alimentam a seguinte.
Sem robô, é possível testá-lo em um simulador 2D em estilo desenho animado, no MuJoCo rodando a própria política de caminhada treinada do Microduck, no simulador do braço SO-101 ou em uma demo no navegador. O README indica, para cada robô, até onde ele realmente chegou: na versão 0.32, um dos nove corpos, um braço SO-101, rodou em hardware real.
Por que importa
Robôs abertos pequenos como o Microduck e o Open Duck Mini vêm com um punhado de movimentos treinados, mas sem forma de encadeá-los em uma tarefa. O quackd lhes dá um cérebro externo sem retreinar nada: o LLM planeja, os próprios controladores do robô se movem, e os mesmos comandos funcionam em corpos muito diferentes. Ele também é incomumente honesto sobre o que rodou em hardware e o que rodou apenas em simulação.
Problema que resolve
Cada robô aberto vem com seu próprio SDK e seus próprios comportamentos fixos, então pedir a um que encontre uma bola e a chute, ou a vários que trabalhem juntos, significa escrever código de integração para cada corpo. O quackd coloca uma única linha de comando e um único conjunto de regras na frente de todos eles, de modo que um objetivo em palavras simples se torna uma sequência das habilidades reais do robô.
Pontos principais
- Um LLM escolhe uma das habilidades próprias do robô a cada passo; os controladores do robô fazem o movimento
- Nove adaptadores de robôs, incluindo Microduck, Open Duck Mini v2, um braço SO-101, XLeRobot e qualquer base ROS 2
- Funciona com doze fornecedores de LLM em nuvem ou modelos locais, e com o Claude via MCP
- Vários robôs podem dividir uma tarefa, e a memória leva anotações de uma execução para outra
- Simuladores 2D, MuJoCo e de navegador permitem testá-lo sem robô
Para quem é
- Donos de robôs abertos pequenos como Microduck, Open Duck Mini ou um braço SO-101 que querem que eles realizem tarefas em linguagem simples
- Desenvolvedores que criam agentes LLM que agem por meio de habilidades reais de robôs, inclusive via MCP a partir do Claude
- Pesquisadores que testam coordenação de vários robôs em simulação antes do hardware
Limitações
- Apenas um dos nove corpos, um braço SO-101, rodou em hardware real (15 e 23 de setembro de 2026); o próprio Microduck rodou apenas em simulação
- O simulador padrão é um desenho animado que testa o loop do agente, não a física; apenas o Microduck e o braço têm simuladores de física
- O sucesso em uma execução solo é a própria afirmação do LLM, conferida com a verdade de referência apenas em simulação
- Bandos, descoberta na LAN e o passaporte robô a robô rodaram apenas em uma única máquina ou em simulação
- Cada passo é uma chamada ao LLM, então as execuções custam tempo de API e dinheiro, a menos que você use um modelo local
- Um projeto jovem: criado em agosto de 2026 e mudando rapidamente