LeRobot 可在機器人動作中途更換指示,免重設
- 來源: Hugging Face (LeRobot team)
- 作者: Open Source Robotics
- 發布日期: 2026-10-30
- 類別: research
LeRobot 的 rollout 指令新增互動模式,可在策略執行中接收新指示,來源可以是人,也可以是另一個規劃模型,而且不需重設。在團隊的錄影中,π0.5 把方塊搬向一個目標,接到指示後便改往另一個目標。此功能已在 LeRobot 的主分支上,但尚未納入正式版本,團隊也表示這些片段並不代表成功率。
Hugging Face 的開源機器人學習函式庫 LeRobot 現在可以在策略執行期間接收新指令。在 lerobot-rollout 指令中加上 --interactive=true,模型、相機與機器人連線都會保持載入,讓你在不重設的情況下更換要求的內容。團隊在 10 月 30 日發表的 Prompting Robots with LeRobot 中說明其運作方式,這是始於 Robots That Talk 系列的第二篇。互動式控制器於 8 月 13 日合併,由外部模型操控的功能則於 10 月 15 日合併。
操控的實際樣貌
文章展示了 9 月 28 日在 RoboLab 以 π0.5 DROID 權重錄製的影片:
- 更換目的地。指令是把藍色方塊放到紅色方塊上。當手臂拿著藍色方塊時,有人把目標改成黃色方塊。手臂隨即改變方向,把藍色方塊放到黃色方塊上,整個過程是一次連續的執行。 - 縮小目標。場景的任務要求把蘋果和優格都放進碗裡。被告知不要動優格後,π0.5 只移動了蘋果,使用的是同一個檢查點,沒有重新訓練。 - 迴路中的規劃器。透過 Hugging Face Inference Providers 呼叫的 DeepSeek Flash 監看外部相機與腕部相機,每次送出一條簡短指令,再由 π0.5 將每條指令轉換為動作。被告知只把魔術方塊放進碗裡時,它把香蕉留在桌上。
團隊表示這些片段只是範例,並非成功率的估計。其另一段錄影則明確是一次未完成的抓取與重新規劃嘗試。
控制指令
在一個工作階段中,/start 開始執行,/subtask <text> 設定指令,/vqa <question> 在不改變任務的情況下詢問關於場景的問題,/autosteer <goal> 則請策略自行提出下一步。/reset 會停止手臂、讓它回到原點並恢復啟動時的任務,/stop 結束工作階段。/vqa 與 /autosteer 只在策略支援時才能使用。執行指南涵蓋真實硬體的設定,而 Steer a robot with words 示範讓你在模擬中試用規劃器的構想。
也能說話的策略
文章的另一個主題是訓練策略不只遵循語言,也能產生語言。FineART-VLA 於 10 月 6 日合併,保留了 π0.5 的架構,同時訓練其語言頭部來預測子任務、影像問答或記憶更新。共用配方系統將標註保存在資料集中,並挑選每個訓練目標所需的標註,因此更換目標時不必重新標註。
先確認的事項
- 它在 LeRobot 的 main 分支上。最新版本 v0.6.1 發布於 8 月 3 日,早於這些變更合併的時間。 - 示範資料可能比指令更有分量。團隊在 OMX 手臂放置方塊的 171 筆片段上微調了 G0.5,示範中總是先放最近的方塊。用 /subtask 要求拿較遠的方塊時,手臂仍常常走向最近的那一個。 - 在這個簡單任務上,子任務與方框預測並未明顯提升成功率。團隊表示,它們讓執行過程更容易理解。
為何重要
大多數經學習的機器人策略只在回合開始時接收一條指示,要修正就得停下來重新開始。把指示視為可在 rollout 期間變更的東西,讓策略更容易測試,因為你可以改一個詞組並觀察結果;它也讓規劃器有一種簡單的方式,去指揮並非由它們訓練的策略。它同時也清楚顯示了極限:言語只能在訓練資料允許的範圍內操控策略。
重點
- lerobot-rollout --interactive=true 會在指令變更時保持模型、相機與機器人載入,不需要重設。
- 指令可以來自人、來自策略本身的語言頭部(若有的話),或來自另一個獨立的視覺語言模型。
- 在團隊的錄影中,π0.5 原本正把藍色方塊拿向紅色方塊,指令變更後改將它放到黃色方塊上。
- 目前僅在 main 分支上:8 月 3 日的 v0.6.1 早於此功能,而錄影只是範例,並非基準測試。
- 示範資料會限制操控:一個被訓練成先拿最近方塊的 G0.5 微調模型,常常忽略拿較遠方塊的要求。
開源觀點
LeRobot 採用 Apache-2.0,互動式控制器、外部規劃器串接、FineART-VLA 與配方系統都已合併進其公開儲存庫。文章中的規劃器範例透過託管服務 Hugging Face Inference Providers 使用 DeepSeek Flash,因此這部分設定是在你自己的機器之外執行。
相關技術
- Vision-language-action models
- π0.5
- FineART-VLA
- G0.5
- Flow matching
相關專案
連結
- 來源: https://huggingface.co/spaces/lerobot/language-conditioned-policies