Play Data
- 又稱: teleoperated play, unstructured play data
- 類別: Learning & autonomy › Learning from demonstration
- 標籤: imitation-learning, data-collection, teleoperation, goal-conditioning, robot-learning
在人類遙控操作員沒有固定任務、自由探索環境時錄製的機器人互動資料,用來訓練目標條件策略與長時程策略。
定義
玩耍資料(Play data)來自一種資料蒐集方式:人類操作員遙控操作機器人,或在某些研究中用自己的雙手操作,隨心所欲地與環境互動,而不是執行預先定義的任務。在一次玩耍時段中,操作員可能以任意順序打開抽屜、推動積木、撥動開關並拿起玩具。Corey Lynch 及其同事於 2019 年在他們從玩耍中學習潛在規劃的研究中,把這個概念引入機器人學習。
相較於任務示範,玩耍有幾項實務上的優點。它蒐集成本低,因為不需要為每個回合重置場景或定義成功;它涵蓋廣泛的行為以及行為之間的轉換;而且自然包含了恢復與部分嘗試。由於資料沒有任務標籤,它通常會搭配事後重新標註(hindsight relabeling):錄製內容中的任何視窗,都可以視為如何到達其結尾狀態的一次示範,這把沒有標籤的玩耍轉換成目標條件策略的訓練資料。之後也可以為部分視窗加上自然語言描述,以訓練語言條件策略。
玩耍資料也有弱點。行為是多模態的,因為同樣的起點與目標可能以不同方式連接,這促使方法轉向能表示多種模態的潛在變數策略或擴散式策略。涵蓋範圍取決於操作員,因此很少造訪的狀態會學得很差。有些方法錄製人類用自己雙手玩耍的資料,這比遙控操作更快,並用這些資料學習高階規劃,再由一個以較少量遙控操作資料訓練、針對特定機器人的策略來執行。
為何重要
為每項技能蒐集特定任務的示範無法規模化。玩耍資料讓一次自由互動的時段能同時支援許多任務,它已成為目標條件、語言條件與長時程模仿學習的常見基礎。
主要應用
- 訓練目標條件操作策略
- 搭配事後標註的語言條件模仿學習
- 串接子目標而完成的長時程任務
- 預訓練潛在規劃或技能表徵
- 多任務桌面操作基準
實際應用
一個實驗室布置了一個廚房風格的桌面,上面有抽屜、櫃子、積木與電燈開關,一名操作員在沒有任何指示的情況下,長時間以 VR 控制器遙控操作機器手臂,隨意與自己選擇的物體互動。訓練時,由攝影機影像、本體感知與動作組成的錄製內容被切成短視窗,每個視窗以其最後一個影格作為目標加以標註。目標條件策略學習到達任何目標影像,之後再為一小部分視窗標註「打開抽屜」之類的指令,以支援語言命令。測試時,機器人串接數個目標來完成較長的任務,例如打開抽屜、把一塊積木放進去,再把抽屜關上。
常見誤解
- 玩耍資料是隨機探索 — 它是有目的的人類行為;只是沒有綁定預先定義的任務
- 玩耍資料需要任務標籤才有用 — 事後重新標註不需要標籤,就能把任何片段變成一個到達目標的範例
- 玩耍資料能完全取代任務示範 — 涵蓋範圍取決於操作員,因此罕見或精細的行為可能仍需要針對性的示範
誰需要了解
- 模仿學習研究人員
- 機器人資料蒐集與遙控操作團隊
- 訓練語言條件操作策略的工程師
- 從事長時程操作的研究人員
相關技術
- 事後重新標註(Hindsight Relabeling)
- 從玩耍中學習(Learning from Play,Play-LMP)
- VR 遙控操作(VR Teleoperation)
- CALVIN 基準(CALVIN Benchmark)
- 條件變分自編碼器(Conditional Variational Autoencoders)
相關術語
相關專案
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
- XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
- DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required