DayDreamer: World Models for Physical Robot Learning
作者: Philipp Wu, Alejandro Escontrela, Danijar Hafner, Ken Goldberg, Pieter Abbeel · CoRL 2022
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。
一句話摘要
以世界模型為基礎的強化學習透過在想像中訓練策略,直接在實體機器人上學習:不需要模擬器,4 台不同的機器人使用相同的超參數。
為何重要
DayDreamer 證明以世界模型為基礎的強化學習能以實際可行的資料量直接在實體機器人上運作,正面處理根本性的模擬到現實落差。機器人不再依賴人工打造的模擬器,而是建立自己對現實的內部模型,並在其中練習。
問題
深度強化學習需要大量到難以負擔的真實世界試誤,迫使研究人員轉向模擬器,而模擬器會帶來模擬到現實落差,也無法適應不斷變化的環境。
提出的方法
使用 Dreamer 演算法從真實機器人經驗中學習世界模型,再完全在想像的軌跡中訓練演員-評論家策略,在減少真實世界資料需求的同時,避開模擬器的不準確性。
關鍵見解
- 世界模型可以取代人工打造的模擬器,用於真實機器人學習
- 同一組超參數可用於四足機器人、機器手臂與輪式機器人
- 從學到的動力學中進行想像訓練,相較於無模型方法大幅提升樣本效率
- 雙程序的演員-學習者架構,讓實體硬體能持續進行線上學習
主要結果
- 四足機器人在約 1 小時的真實互動中,從零學會站立與行走
- 機器手臂在稀疏獎勵下,從攝影機影像學會取放
- 所有實驗都使用相同的 Dreamer 超參數,沒有針對個別機器人調整
- 在約 10 分鐘的額外互動內適應實體擾動
限制
- 展示的任務相對短時域,不清楚它如何擴展到長時域的多階段操作
- 在實體硬體上進行線上學習涉及真實的探索,伴隨安全風險
- 需要一張能力足夠的 GPU 與機器人同時運作,以進行世界模型訓練
對領域的影響
DayDreamer 證明以世界模型為基礎的強化學習在實體機器人上是可行的,不需要模擬器。這在純粹的模擬到現實遷移與昂貴的無模型強化學習之間開闢了第三條路,證明機器人能建立自己對現實的內部模型,並在其中練習。這種方法直接影響了隨後的世界模型時代。
摘要
要在複雜環境中解決任務,機器人需要從經驗中學習。深度強化學習是一種常見的方法,但需要大量的試誤才能學會,限制了它在實體世界中的部署。DayDreamer 應用 Dreamer 演算法,從少量的真實世界互動中學習世界模型,再於這個學到的世界模型中進行規劃,大幅減少所需的試誤。DayDreamer 在所有實驗中使用相同的超參數,在 4 台真實世界的機器人上展示了不需要模擬器的線上學習。
連結
- arXiv 2206.14176: https://arxiv.org/abs/2206.14176
- PDF: https://arxiv.org/pdf/2206.14176
- 程式碼: https://github.com/danijar/daydreamer
- 專案頁面: https://danijar.com/project/daydreamer/