Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Eureka: Human-Level Reward Design via Coding Large Language Models

作者: Yecheng Jason Ma, William Liang, Guanzhi Wang, De-An Huang, Osbert Bastani, Dinesh Jayaraman, Yuke Zhu, Linxi Fan, Anima Anandkumar · ICLR 2024

ICLR 2024

授權條款

  • 開放取用
  • 論文: arXiv.org perpetual, non-exclusive license 1.0

依 arXiv 的授權條款,以下內容僅依據摘要撰寫。

為何重要

語言模型擅長高層次規劃,但過去未曾用於學習如靈巧轉筆這類複雜的低階技能。Eureka 設計的獎勵優於人類專家撰寫的獎勵,而且不需要針對特定任務的提示詞或獎勵範本。

提出的方法

Eureka 運用 GPT-4 等最先進的語言模型,對獎勵程式碼進行演化式最佳化;再以這些獎勵透過強化學習習得技能。

摘要

大型語言模型(LLM)作為序列決策任務的高階語意規劃器表現出色。然而,如何運用它們來學習複雜的低階操作任務,例如靈巧的轉筆,仍是一個未解的問題。我們填補了這個根本落差,提出 Eureka,一個由 LLM 驅動、達到人類水準的獎勵設計演算法。Eureka 利用 GPT-4 等最先進 LLM 卓越的零樣本生成、撰寫程式碼與情境內改進能力,對獎勵程式碼進行演化最佳化。產生的獎勵接著可用於透過強化學習習得複雜技能。在沒有任何針對特定任務的提示或預先定義獎勵模板的情況下,Eureka 產生的獎勵函數勝過專家人工設計的獎勵。在包含 10 種不同機器人形態、共 29 個開放原始碼 RL 環境的多樣套件中,Eureka 在 83% 的任務上勝過人類專家,平均正規化提升達 52%。

連結

  • arXiv 2310.12931: https://arxiv.org/abs/2310.12931
  • PDF: https://arxiv.org/pdf/2310.12931
  • 程式碼: https://github.com/eureka-research/Eureka
  • 專案頁面: https://eureka-research.github.io/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。