Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

RL-100: Performant Robotic Manipulation with Real-World Reinforcement Learning

作者: Kun Lei, Huanyu Li, Dongjie Yu, Zhenyu Wei, Lingxiao Guo, Zhennan Jiang, Ziyu Wang, Shiyu Liang, Huazhe Xu · Science Robotics 2026 2025

授權條款

  • 開放取用
  • 論文: arXiv.org perpetual, non-exclusive license 1.0

依 arXiv 的授權條款,以下內容僅依據摘要撰寫。

為何重要

它證明真實世界強化學習可以將以人類示範為起點的機器人策略,提升到在八項真實任務上 100% 成功、速度達到或超越專家遙控操作員,並能在公共場所連續運作數小時。

提出的方法

RL-100 是一個建立在擴散視覺運動策略之上的真實世界強化學習框架。它在去噪過程中以一個裁剪 PPO 目標結合模仿學習與強化學習,涵蓋離線與線上階段,並將多步擴散策略蒸餾成一步控制器,速度足以進行高頻控制。

摘要

家庭與工廠中的真實世界機器人操作,需要接近或超越熟練人類操作員的可靠性、效率與穩健性。我們提出 RL-100,一個建立在擴散視覺運動策略之上的真實世界強化學習框架。RL-100 在去噪過程中使用單一的裁剪 PPO 替代目標,將模仿學習與強化學習統一起來,在離線與線上階段都帶來保守而穩定的改進。為了滿足部署的延遲要求,一種輕量的 consistency distillation 方法將多步擴散壓縮成一步控制器,用於高頻控制。此框架不受任務、機器人本體與表示方式限制,並同時支援單一動作與 action chunking 控制。我們在八項多樣的真實機器人任務上評估 RL-100,從動態推動與敏捷打保齡球,到倒水、摺衣服、轉開螺絲、多階段榨汁與長時程摺紙盒。RL-100 在所有評估試驗中達到 100% 成功率,總計 1000 次中 1000 次成功,其中一項任務最多連續 250 次中 250 次成功。它在完成時間上達到或超越專家遙控操作員。無需重新訓練,單一策略在環境與動力學變化下達到約 90% 的零樣本成功率,在少樣本條件下適應顯著的任務變化(86.7%),並在激烈的人為干擾下保持穩健(約 96%)。值得一提的是,我們的榨汁機器人在購物中心零樣本部署時,連續為隨機顧客服務約七小時,沒有發生故障。這些結果指出一條通往可部署機器人學習的實用路徑:從人類先驗出發,讓訓練目標與以人為基準的指標一致,並可靠地將效能延伸到人類示範之外。

連結

  • arXiv 2510.14830: https://arxiv.org/abs/2510.14830
  • DOI 10.1126/scirobotics.aed6267: https://doi.org/10.1126/scirobotics.aed6267
  • PDF: https://arxiv.org/pdf/2510.14830

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。