LeRobot 0.7.0 推出：新增世界動作模型、遠端推論，訓練堆疊全面重建
- 來源: Hugging Face (LeRobot team)
- 作者: Open Source Robotics
- 發布日期: 2026-11-05
- 類別: research
Hugging Face 於 11 月 5 日發布 LeRobot v0.7.0。此版本將互動式 rollout 納入正式版，新增四個世界動作模型與四個視覺-語言-動作（VLA）模型，為數十億參數的模型重建訓練流程，並讓機器人能在遠端 GPU 上執行其策略。從 0.6 升級會改變安裝方式、實驗追蹤與馬達驅動程式。
Hugging Face 的開源機器人學習函式庫 LeRobot，於 11 月 5 日發布 v0.7.0，距離 v0.6.1 已三個月。團隊的發布文章形容此版本同時處理策略生命週期的兩端：在不先下載的情況下以數 TB 的示範資料訓練，以及在策略執行後與機器人對話。它也重建了安裝、訓練、推論與硬體層，因此從 0.6 升級需要做一些修改（請見最後一節）。
與執行中的策略對話
互動式 rollout 在進入主分支時我們曾報導過，如今已納入正式版本。在 lerobot-rollout 中加入 --interactive=true，機器人、策略與處理器都會保持載入：/subtask 可在手臂移動時變更指示，/vqa 可詢問策略看到了什麼，/autosteer 則給它一個目標，讓它自行挑選子任務。後兩者需要一個能輸出文字的策略，例如以 FineART 資料集訓練的 FineART-VLA、Wall-OSS-0.5，或是位於 OpenAI 相容 API 後方的外部視覺語言模型。
新模型
四個能同時預測未來影片與下一步動作的世界動作模型加入了函式庫：
- NVIDIA 的 Cosmos 3，提供 16.5B 的 Nano 與 4.6B 的 Edge 兩種規模。團隊公布其在 LIBERO 上的平均成功率分別為 97.90% 與 97.95%，兩者都可以完整微調或以 LoRA 微調。 - Black Forest Labs 的 FLUX 3 Action。LeRobot 支援推論與 LoRA 微調；訓練新的機器人形態則需使用 Black Forest Labs 自己的 flux-action 儲存庫。 - RLinf 團隊的 LaWAM，在潛在空間中學習動態。 - NVIDIA LongLive 團隊的 Long-WAM，專為長情境打造。
另有四個視覺語言動作模型加入：OpenGalaxea 的 G0.5，會先寫出其目前的子任務再輸出動作；Robbyant 的 LingBot-VLA 2.0；Dexmal 的 DM0.5，移植自 OpenDM；以及 X Square Robot 的 Wall-OSS-0.5。
大規模訓練與資料
- FSDP1 由 FSDP2 與 HSDP 分片、梯度累積及分散式檢查點取代。在一個 8×H200 節點上以 6B 模型測試，團隊量測到檢查點儲存速度快了 3 倍，恢復訓練時每張 GPU 的記憶體峰值從 143 GB 降至 42 GB（多 GPU 文件）。 - 訓練新增 FP16 混合精度、可選的權重移動平均（EMA），以及完全取代 Weights & Biases 的 Hugging Face 開源追蹤工具 Trackio。 - 影像擴增可在 GPU 上執行；團隊量測到 ACT 訓練在 H100 上快了 2.8 倍，在 A100 上快了 3.3 倍。 - 免下載直接從 Hub 訓練（我們的報導）與從 LanceDB 表格訓練（我們的報導）都已納入此版本。
遠端推論、模擬與硬體
- lerobot-policy-server 在 GPU 機器上執行模型，而機器人旁的筆電或單板電腦則負責攝影機、馬達與錄製。伺服器透過 Zenoh 計算下一段動作時，機器人會依照緩衝的動作執行（文件）。 - 現在每個模擬器都透過同一個核心執行，可在同一程序中執行，或在 lerobot-env-server 後方各自的 Docker 映像中執行，因此模擬器之間不再爭搶相依套件版本。第一個以此執行的基準測試是 NVIDIA 的 RoboLab，包含 120 項針對 Isaac Lab 上 DROID Franka 配置的桌面任務。lerobot-eval 現在會為每個成功率附上 95% 信賴區間。 - 硬體：一或兩支 I2RT YAM 手臂；採用 RobStride 與 Damiao 馬達的 reBot B601；執行 NVIDIA SONIC 全身控制器解碼器的 Unitree G1（我們先前曾報導），以及 23 自由度的 G1。
升級之前
- 在 Linux 上，torch 現在從 PyPI 取得 CUDA 13 版本，需要 NVIDIA 驅動程式 580.65 以上；若驅動程式較舊，請先從 CUDA 12 索引安裝 torch（安裝指南）。macOS 需要 14 以上版本。 - --wandb. 選項改為 --trackio.，檢查點預設也不再以 artifact 形式上傳。 - 以 0.6 或更早版本儲存的 FSDP 檢查點無法恢復訓練，但其權重仍可載入。 - lerobot[async] 與 lerobot.async_inference 已移除；請改為安裝 lerobot[remote]。 - Feetech 與 Dynamixel 馬達現在共用一個以 rustypot 為基礎的匯流排。舊的類別名稱仍可作為已棄用的別名使用，校正檔案則維持不變。 - --policy.use_peft=true 現在會訓練 LoRA；之前它會在不提示的情況下執行完整微調。
為何重要
LeRobot 是許多開放機器人策略、資料集與手臂的交會點，因此它支援什麼，決定了大多數愛好者與實驗室配置不必自己撰寫銜接程式就能嘗試什麼。此版本將包括世界動作模型在內的最新模型系列，納入與舊策略相同的訓練與 rollout 指令；遠端推論則代表機器人上的小型電腦不再限制它能執行哪些模型。破壞性變更同樣重要：任何擁有可運作 0.6 配置的人，都應在更新前先閱讀升級說明。
重點
- LeRobot v0.7.0 於 11 月 5 日推出，距離 v0.6.1 已三個月。
- 互動式 rollout 現已納入正式版本：可變更執行中策略的指示、詢問它看到了什麼，或給它一個目標。
- 支援四個世界動作模型（Cosmos 3、FLUX 3 Action、LaWAM、Long-WAM）與四個 VLA（G0.5、LingBot-VLA 2.0、DM0.5、Wall-OSS-0.5）。
- lerobot-policy-server 在 GPU 機器上執行模型，機器人自己的電腦則負責攝影機與馬達。
- 升級會改變安裝方式（CUDA 13 版本），以 Trackio 取代 Weights & Biases，並將 Feetech 與 Dynamixel 馬達移到單一 rustypot 匯流排上。
開源觀點
LeRobot 本身採用 Apache-2.0，但它現在載入的模型適用不同條款：LingBot-VLA 2.0 採用 Apache-2.0，Cosmos 3 的檢查點採用 OpenMDW 1.1 授權，而 G0.5 為非商業授權，DM0.5 與 FineART-VLA 適用 Gemma 的條款，FLUX 3 Action 則需依 Black Forest Labs 自有的 FLUX Kommunity License 申請存取。在以某個檢查點為基礎進行開發之前，請先查看其模型說明卡。
相關技術
- World action models
- Vision-language-action models
- FSDP2
- Remote inference
- Zenoh
相關專案
連結
- 來源: https://huggingface.co/blog/lerobot/lerobot-release-v070