quackd
讓 LLM 驅動 Microduck、LeRobot 手臂與其他機器人的命令列代理
授權條款
Apache-2.0
概述
quackd 是一個命令列工具,讓大型語言模型掌控你擁有的機器人。每台機器人透過一個轉接器加入,轉接器會宣告機器人的身體是什麼、具備哪些技能;LLM 觀看攝影機畫面與機器人狀態,每次從這些技能中挑選一項,行走與抓取則由機器人自己的控制器完成。它可以從筆電驅動 Pollen Robotics 的 Microduck、Open Duck Mini v2、LeRobot SO-101 手臂、XLeRobot、AlohaMini、ToddlerBot 以及任何 ROS 2 底盤,可單獨驅動或同時驅動多台,也能透過 MCP 由 Claude 操控。採用 Apache-2.0,作者為 Rok Benko。
quackd 把機器人自己的技能與 LLM 的判斷分開。轉接器會發布一份清單,列出某個身體能做什麼,例如 Microduck 的坐下、站立、踢與呱呱叫,或手臂的取放,而不在清單中的動詞就不存在。每一回合,負責操控的 LLM 會看到攝影機畫面、狀態與上一次的結果,並選擇一個動詞及其參數;quackd 依照允許清單、預算與確認規則檢查它,執行它,觀察結果,然後再次詢問,直到任務完成或被判定為不可能。
負責操控的模型可以是十二家雲端供應商的模型之一,也可以是透過 Ollama、vLLM、llama.cpp 或 LM Studio 執行的本機模型,而 Claude 可以透過 quackd 的 MCP 伺服器驅動一台機器人或一整群機器人。多台機器人可以共同執行一項任務並彼此分工,先前執行的筆記也會帶入下一次執行。
沒有機器人時,你可以在 2D 卡通模擬器、執行 Microduck 自身訓練好之行走策略的 MuJoCo、SO-101 手臂的模擬器,或瀏覽器展示中試用它。README 為每台機器人標示了實際進展到哪裡:在 0.32 版中,九個身體裡只有一個,也就是 SO-101 手臂,曾在真實硬體上執行。
為何重要
Microduck 與 Open Duck Mini 這類小型開放機器人出貨時附有少數幾個訓練好的動作,但無法把它們串連成一項任務。quackd 不需重新訓練任何東西,就為它們提供一個外部大腦:LLM 負責規劃,機器人自己的控制器負責移動,同樣的指令可用於差異很大的身體。它也異常坦白地說明哪些部分在硬體上執行過,哪些只在模擬中執行過。
解決的問題
每台開放機器人都有自己的 SDK 與固定行為,因此要讓一台機器人找到球並踢它,或讓多台機器人合作,就得為每個身體撰寫膠合程式碼。quackd 在它們前面放上單一命令列與單一規則集,讓以日常語言表達的目標變成一連串機器人真正具備的技能。
重點
- LLM 每一步從機器人自己的技能中挑選一項;移動由機器人的控制器負責
- 九個機器人轉接器,包括 Microduck、Open Duck Mini v2、SO-101 手臂、XLeRobot 與任何 ROS 2 底盤
- 可搭配十二家雲端 LLM 供應商或本機模型,也能透過 MCP 搭配 Claude
- 多台機器人可共同執行一項任務,記憶功能會在不同執行之間保留筆記
- 2D、MuJoCo 與瀏覽器模擬器讓你不需要機器人也能試用
適用對象
- 擁有 Microduck、Open Duck Mini 或 SO-101 手臂等小型開放機器人,並希望以日常語言讓它們執行任務的使用者
- 開發透過真實機器人技能行動之 LLM 代理的開發者,包括透過 MCP 從 Claude 操作
- 在使用硬體之前先於模擬中嘗試多機器人協調的研究人員
限制
- 九個身體中只有一個,也就是 SO-101 手臂,曾在真實硬體上執行(2026 年 9 月 15 日與 23 日);Microduck 本身只在模擬中執行過
- 預設模擬器是測試代理循環的卡通模擬器,而非物理模擬;只有 Microduck 與手臂有物理模擬器
- 單獨執行時的成功與否由 LLM 自己宣稱,只有在模擬中才會與真實結果比對
- 群體、LAN 探索與機器人對機器人通行證只在單一機器上或模擬中執行過
- 每一步都是一次 LLM 呼叫,因此除非使用本機模型,否則執行會耗費 API 時間與金錢
- 年輕的專案:建立於 2026 年 8 月,變動快速