Eureka: Human-Level Reward Design via Coding Large Language Models
作者: Yecheng Jason Ma, William Liang, Guanzhi Wang, De-An Huang, Osbert Bastani, Dinesh Jayaraman, Yuke Zhu, Linxi Fan, Anima Anandkumar · ICLR 2024
授權條款
依 arXiv 的授權條款,以下內容僅依據摘要撰寫。
為何重要
語言模型擅長高層次規劃,但過去未曾用於學習如靈巧轉筆這類複雜的低階技能。Eureka 設計的獎勵優於人類專家撰寫的獎勵,而且不需要針對特定任務的提示詞或獎勵範本。
提出的方法
Eureka 運用 GPT-4 等最先進的語言模型,對獎勵程式碼進行演化式最佳化;再以這些獎勵透過強化學習習得技能。
摘要
大型語言模型(LLM)作為序列決策任務的高階語意規劃器表現出色。然而,如何運用它們來學習複雜的低階操作任務,例如靈巧的轉筆,仍是一個未解的問題。我們填補了這個根本落差,提出 Eureka,一個由 LLM 驅動、達到人類水準的獎勵設計演算法。Eureka 利用 GPT-4 等最先進 LLM 卓越的零樣本生成、撰寫程式碼與情境內改進能力,對獎勵程式碼進行演化最佳化。產生的獎勵接著可用於透過強化學習習得複雜技能。在沒有任何針對特定任務的提示或預先定義獎勵模板的情況下,Eureka 產生的獎勵函數勝過專家人工設計的獎勵。在包含 10 種不同機器人形態、共 29 個開放原始碼 RL 環境的多樣套件中,Eureka 在 83% 的任務上勝過人類專家,平均正規化提升達 52%。
連結
- arXiv 2310.12931: https://arxiv.org/abs/2310.12931
- PDF: https://arxiv.org/pdf/2310.12931
- 程式碼: https://github.com/eureka-research/Eureka
- 專案頁面: https://eureka-research.github.io/