Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

HIL-SERL: Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

作者: Jianlan Luo, Charles Xu, Jeffrey Wu, Sergey Levine · Science Robotics 2025

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。

一句話摘要

一套樣本高效、人在迴路中的 RL 系統,能在 1 到 2.5 小時內把真實世界操作策略訓練到接近完美的成功率,使模仿學習的成功率翻倍。

為何重要

HIL-SERL 證明,只要與人類引導妥善整合,強化學習在真實世界機器人操作上是可行的。1 到 2.5 小時的訓練時間讓 RL 能用於快速習得技能,從根本上改變了在操作任務中何時該用 RL、何時該用模仿學習的考量。

問題

機器人操作的模仿學習受限於示範品質,難以學會恢復行為或針對速度最佳化。純 RL 的樣本效率太低,無法在真實世界中訓練。實驗室中的 RL 研究與可部署的操作技能之間,存在實際的落差。

提出的方法

HIL-SERL 以人類示範為策略初始化提供起點,並在 RL 訓練期間整合線上人類修正。高效的 RL 演算法(RLPD)結合謹慎的系統設計,能透過真實世界互動快速改進策略,並在機器人遇到困難時由人類提供有針對性的修正。

關鍵見解

  • RL 訓練期間的人類修正提供有針對性的引導,樣本效率遠高於單靠示範或自主探索
  • 結合離線示範與線上人在迴路中的修正,形成一套強大的課程,先為策略打底,再快速精煉
  • 系統層級的設計選擇(獎勵塑形、重置策略、訓練基礎設施)對實際的真實世界部署,與核心 RL 演算法同樣重要
  • RL 策略能學會反應式的恢復行為與預測式策略,而這些是純模仿學習無法從示範中捕捉的
  • 1 到 2.5 小時的真實世界訓練時間讓 RL 能實際用於日常操作任務,挑戰了 RL 對真實機器人來說太慢的假設

主要結果

  • 只需 1 到 2.5 小時的真實世界機器人互動,就達到接近完美的成功率
  • 相較於模仿學習基準方法,成功率平均提升 2 倍
  • 相較於模仿學習與先前的 RL 方法,任務執行速度快 1.8 倍
  • 成功處理多樣的任務:動態操作、精密組裝與雙臂協調
  • 策略學會反應式與預測式的控制策略,這些策略自然地從 RL 最佳化中浮現

限制

  • 訓練期間由人類操作員透過遙控操作提供修正,成功獎勵則來自以人類示範訓練的分類器。
  • 此方法能否延伸到時間跨度長得多、樣本複雜度隨之增加的任務,仍不確定。
  • 實驗中的隨機化很少,策略對非結構化環境的泛化能力並未經過測試。

對領域的影響

HIL-SERL 正在扭轉 RL 不適用於真實機器人的說法。它證明人在迴路中的 RL 能比單靠模仿學習更快、更好地訓練出精確的操作技能,激勵社群投資真實世界的 RL 系統,而不是只依賴離線方法。

摘要

強化學習 (RL) 可望讓機器人自主習得複雜的操作技能,但在真實世界中實現這項潛力一直相當困難。我們提出一個以視覺為基礎、人在迴路中的強化學習系統,在多種靈巧操作任務上表現出色,包括動態操作、精密組裝與雙臂協調。我們的方法整合了示範與人為修正、高效率的強化學習演算法,以及其他系統層面的設計選擇,只需 1 到 2.5 小時的訓練,就能學到成功率近乎完美、週期時間很短的策略。我們證明此方法明顯優於模仿學習基線與先前的強化學習方法,成功率平均提升 2x,執行速度快 1.8x。透過大量實驗與分析,我們說明此方法為何有效,展示它如何為反應式與預測式控制策略學到穩健、具適應性的策略。我們的結果顯示,強化學習確實能在實際可行的訓練時間內,直接在真實世界中學到各種複雜的視覺操作策略。我們希望這項研究能啟發新一代的機器人操作學習技術,造福產業應用與研究進展。影片與程式碼請見我們的專案網站 https://hil-serl.github.io/。

連結

  • arXiv 2410.21845: https://arxiv.org/abs/2410.21845
  • DOI 10.1126/scirobotics.ads5033: https://doi.org/10.1126/scirobotics.ads5033
  • PDF: https://arxiv.org/pdf/2410.21845.pdf
  • 程式碼: https://github.com/rail-berkeley/hil-serl
  • 專案頁面: https://hil-serl.github.io/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。