Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

LeRobot: An Open-Source Library for End-to-End Robot Learning

作者: Remi Cadene, Simon Alibert, Francesco Capuano, Michel Aractingi, Adil Zouitine, Pepijn Kooijmans, Jade Choghari, Martino Russi, Caroline Pascal, Steven Palma, Mustafa Shukor, Jess Moss, Alexander Soare, Dana Aubakirova, Quentin Lhoest, Quentin Gallouédec, Thomas Wolf · arXiv preprint 2026

arXiv preprint

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖片已標示來源。

一句話摘要

LeRobot 是一個涵蓋整個機器人學習技術堆疊的開源 PyTorch 函式庫:用於低成本機械手臂的馬達中介軟體、支援串流的共用資料集格式、ACT、Diffusion Policy、pi0 與 SmolVLA 等現成策略,以及一套非同步推論堆疊。

為何重要

機器人學習工具常常是封閉的,而且只涵蓋技術堆疊的一部分。LeRobot 把硬體控制、資料蒐集、資料集分享、訓練與部署放進一個開放的函式庫。它以低成本的開源硬體機械手臂為核心打造,讓更多人能蒐集真實世界的資料。截至 2025 年 9 月,已有來自 2,200 多名貢獻者的 16,000 多個資料集以其 LeRobotDataset 格式分享。其中一半以上是在低成本的 SO-100 與 SO-101 機械手臂上錄製的。

問題

機器人學習受到工具零散的限制。與馬達溝通的中介軟體通常只為一種機器人撰寫,因此各團隊只能自行調整。資料集格式五花八門,例如 TensorFlow Datasets、ROS bag 或自訂 JSON,因此難以合併。演算法、資料處理與評估在實作上的細微差異可能大幅改變結果,而硬體差異讓情況更糟。研究人員把心力花在系統整合上,而不是科學研究上。

提出的方法

LeRobot 是一個由四個部分組成的開源 Python 函式庫。第一,一套共用的中介軟體,用來控制真實機器人,並支援從主手臂到從手臂的遙控操作;它直接與 FeeTech 和 Dynamixel 致動器的 SDK 溝通。第二,LeRobotDataset,一種把表格存成 Parquet 檔案、把相機串流存成 MP4 影片的資料集格式,無需下載整個資料集就能串流讀取資料。第三,機器人學習方法的純 PyTorch 實作:用於強化學習的 HIL-SERL 與 TD-MPC,用於單一任務模仿的 ACT、Diffusion Policy 與 VQ-BeT,以及作為多任務模型的 pi0 與 SmolVLA。第四,一套推論堆疊,可以在另一台機器上執行策略,並在機器人仍在執行目前的動作區塊時預測下一個區塊。

關鍵見解

  • LeRobotDataset 把表格資料存成 Parquet 檔案,把相機串流存成 MP4 影片並附上輕量的中繼資料;其串流版本不論資料集多大,都能把記憶體用量控制在一定範圍內。
  • LeRobot 不控制的機器人(例如 Franka Emika Panda 與 xArm)的資料集下載量領先,而社群上傳的資料大多來自低成本的 SO-100 與 SO-101 機械手臂。
  • ACT 是上傳最多的策略;作者認為原因在於它體積小、推論快,而且只需 50 次真實世界示範就能有好結果,不過條件改變時必須重新訓練。
  • pi0 等大型模型每次前向傳遞耗時長得多,在較低階的裝置上可能無法在 5 s 內完成,作者稱這是部署機器人基礎模型的一大挑戰。
  • 把動作預測與動作執行分開,並在目前的動作區塊執行時預測下一個區塊,可以避免機器人閒置,縮短週期時間。
  • 模擬主要透過 LIBERO 與 Meta-World 用來評估演算法,因為 LeRobot 鎖定的接觸豐富任務很難模擬;訓練則盡可能使用真實世界資料。

主要結果

  • 截至 2025 年 9 月,已有來自 2,200 多名貢獻者的 16,000 多個資料集以 LeRobotDataset 格式分享;其中 50% 以上是在 SO-100 與 SO-101 機械手臂上錄製的。
  • 2025 年間,支援的機器人從 3 種操作平台(Koch v1.1、SO-100、ALOHA)增加到 8 種一般型、人形與移動操作機器人。
  • 開源機器人套件的價格只有工業機械手臂的一小部分:SO-100/101 機械手臂約 €225(雙臂 €550),LeKiwi €230,HopeJR 手臂 €500,Koch v1.1 €670(雙臂 €1,346),ALOHA €21k。
  • 以 fp32 進行 100 次前向傳遞的推論延遲:ACT(52M 參數)在 RTX 4090 上約 5 ms;SmolVLA(450M)約 99 ms;pi0(3.5B)在 RTX 4090 上約 209 ms,而在 MacBook Pro M1 的 CPU 與 MPS 上,pi0 的每個樣本都在 5 s 的時限內逾時。
  • 在真實的 SO-100 機械手臂上以 SmolVLA 執行三項方塊任務,非同步推論把平均任務時間從 13.75 s 縮短到 9.70 s,每個 60 s 回合移動 3.8 個方塊而非 1.8 個;平均成功率為 73.3%,一般同步推論則為 78.3%。
  • 從頭訓練一個模型只需不到 100 行程式碼,部署只需不到 40 行。

限制

  • 機器人涵蓋範圍遠不完整:此函式庫支援的機械手臂、夾爪、感測器與控制器實用但並不齊全。
  • 演算法涵蓋範圍並不詳盡;加入更多演算法是未來的工作。
  • 要達到出色的實際推論效能,仍需要量化與計算圖編譯等低階最佳化,而此函式庫目前尚未提供。

對領域的影響

LeRobot 為研究人員提供一套從馬達控制到訓練好的策略的開放技術堆疊,以只需幾百歐元的機器人為核心打造。它的資料集格式已收錄數千個社群資料集、數十萬個回合與數百個共享模型。作者把它視為邁向端到端機器人學習技術堆疊的重要一步,並邀請社群擴充其對機器人與演算法的涵蓋範圍。

摘要

在以機器學習為基礎的高階控制技術進步推動下,機器人技術正經歷一場重大轉變,並由此催生了機器人學習這個領域。價格親民的遙控操作系統、大規模公開資料集,以及可擴展的學習式方法日益普及,加快了機器人學習近來的進展。然而,機器人學習領域的發展常被零散的封閉原始碼工具拖慢,這些工具只針對機器人技術堆疊中的特定子元件而設計。本文介紹 lerobot,一個貫穿整個機器人學習技術堆疊的開源函式庫,範圍從用於馬達控制的低階中介軟體通訊,到大規模資料集的蒐集、儲存與串流。此函式庫的設計高度著重真實世界的機器人技術,支援容易取得的硬體平台,同時可擴充到新的機器人本體。它也支援來自多個重要典範的多種先進機器人學習演算法的高效實作,以及一套通用的非同步推論堆疊。不同於高度仰賴手工設計技術的傳統流程,lerobot 強調可擴展的學習方法,這些方法會隨著資料與算力增加而直接改善。lerobot 以易用、可擴展與開放為設計目標,降低研究人員與實務工作者進入機器人領域的門檻,同時提供一個可重現的先進機器人學習平台。

連結

  • arXiv 2602.22818: https://arxiv.org/abs/2602.22818
  • PDF: https://arxiv.org/pdf/2602.22818
  • 程式碼: https://github.com/huggingface/lerobot
  • 專案頁面: https://huggingface.co/lerobot

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。