Offline Reinforcement Learning

又稱: batch reinforcement learning, batch RL, offline RL
類別: Learning & autonomy › RL & simulation
標籤: reinforcement-learning, offline-learning, datasets, distribution-shift, robot-learning

從固定、事先蒐集好的狀態轉移資料集進行的強化學習，訓練期間不再與環境互動。

定義

離線強化學習（Offline reinforcement learning）完全從一個靜態資料集學習策略，資料集由狀態、動作、獎勵與下一個狀態組成，事先由人、腳本控制器或先前的策略蒐集而來。與標準的線上 RL 不同，代理人在訓練期間無法嘗試新的動作並觀察結果。這種設定對機器人學很有吸引力，因為真實世界的互動緩慢、昂貴，有時還不安全，而且可能早已累積了大量機器人資料紀錄。與模仿學習不同，離線 RL 會使用資料中的獎勵，因此原則上可以學到比產生資料的行為更好的策略，例如把不同軌跡中好的部分組合起來。

核心難題是學習所得策略與資料之間的分布偏移。以價值為基礎的方法會用學習策略將選擇的下一個動作的價值做自舉（bootstrapping），以估計 Q(s, a)。如果該動作在資料集中很少出現或從未出現，它的價值估計就不受約束，而最大化操作恰好傾向挑出那些價值被錯誤高估的動作。線上 RL 會透過實際嘗試這些動作來修正這類誤差；離線 RL 則做不到。因此，離線方法會以下列方式之一貼近資料：將策略約束在行為策略附近（如 BCQ，Fujimoto 等人，2019）、懲罰未見過動作的價值（如保守 Q 學習，Kumar 等人，2020）、完全避免查詢分布外的動作（如隱式 Q 學習，Kostrikov 等人，2021），或在離策略 actor-critic 損失中加入行為複製項。

結果高度取決於資料集：它對狀態與動作的涵蓋程度、產生資料之行為的品質，以及獎勵是否已經存在、還是必須事後標註。常見的工作流程是先做離線預訓練，再進行有限的線上微調。離線 RL 與離策略（off-policy）RL 相關但不同：離策略演算法從其他策略產生的資料中學習，但通常會持續蒐集新資料，一旦停止蒐集，表現往往不佳。

為何重要

大多數機器人負擔不起在硬體上進行數百萬次試誤回合，但許多團隊手上都有遠端操作、腳本執行與先前實驗的紀錄。離線 RL 正是為了把這類資料安全轉化為策略而設計的一類方法，它也說明了為什麼直接在固定資料集上執行標準的離策略演算法經常失敗。

主要應用

從記錄下來的遠端操作資料與腳本資料學習操作策略
在有限的線上微調之前預訓練機器人策略
利用獎勵標籤改進次佳的示範
在探索並不安全的情境（例如駕駛）中從資料學習
重複利用先前實驗的資料，而不是將其丟棄

實際應用

一個倉儲團隊擁有一套腳本式夾取系統數個月來記錄的夾取嘗試紀錄，每筆都標註了成功或失敗。他們沒有進行新的試驗，而是在這些紀錄上訓練一個保守 Q 學習代理人，以影像與夾爪狀態作為輸入。部署前，他們將學習所得策略選出的夾取方式與資料分布比較，並在有人監督的測試工作站中，以一小組保留未用的物體進行評估。接著他們允許一段短時間的線上微調，期間有人隨時可以讓機器人停下，藉此修正在罕見情境中殘留的錯誤。

常見誤解

離線 RL 只是在資料集上做行為複製 — 它會使用獎勵並能超越資料，行為複製則只是照抄資料中的動作
任何離策略演算法都能離線運作 — 沒有新資料時，標準的離策略方法會高估未見動作的價值，而且經常崩潰
資料越多，離線策略就越好 — 涵蓋範圍與品質才是關鍵；由幾乎相同行為構成的大型資料集，可改進的空間很小
離線 RL 不需要在實際系統上評估 — 離線估計的策略表現並不可靠，因此仍需要實機測試或經過審慎設計的模擬測試

誰需要了解

使用大型紀錄資料集的機器人學習研究人員
擁有會產生營運資料之機器人車隊的工程師
從模擬轉向硬體的強化學習實務工作者
自動駕駛與操作領域的 ML 團隊

影片

Offline Reinforcement Learning: RAIL
NeurIPS 2020 Tutorial on Offline RL: Part 1: RAIL

Open Source Robotics

Offline Reinforcement Learning

定義

為何重要

主要應用

實際應用

常見誤解

誰需要了解

相關技術

相關術語

相關專案

影片