Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Play Data

  • 又稱: teleoperated play, unstructured play data
  • 類別: Learning & autonomy › Learning from demonstration
  • 標籤: imitation-learning, data-collection, teleoperation, goal-conditioning, robot-learning

在人類遙控操作員沒有固定任務、自由探索環境時錄製的機器人互動資料,用來訓練目標條件策略與長時程策略。

定義

玩耍資料(Play data)來自一種資料蒐集方式:人類操作員遙控操作機器人,或在某些研究中用自己的雙手操作,隨心所欲地與環境互動,而不是執行預先定義的任務。在一次玩耍時段中,操作員可能以任意順序打開抽屜、推動積木、撥動開關並拿起玩具。Corey Lynch 及其同事於 2019 年在他們從玩耍中學習潛在規劃的研究中,把這個概念引入機器人學習。

相較於任務示範,玩耍有幾項實務上的優點。它蒐集成本低,因為不需要為每個回合重置場景或定義成功;它涵蓋廣泛的行為以及行為之間的轉換;而且自然包含了恢復與部分嘗試。由於資料沒有任務標籤,它通常會搭配事後重新標註(hindsight relabeling):錄製內容中的任何視窗,都可以視為如何到達其結尾狀態的一次示範,這把沒有標籤的玩耍轉換成目標條件策略的訓練資料。之後也可以為部分視窗加上自然語言描述,以訓練語言條件策略。

玩耍資料也有弱點。行為是多模態的,因為同樣的起點與目標可能以不同方式連接,這促使方法轉向能表示多種模態的潛在變數策略或擴散式策略。涵蓋範圍取決於操作員,因此很少造訪的狀態會學得很差。有些方法錄製人類用自己雙手玩耍的資料,這比遙控操作更快,並用這些資料學習高階規劃,再由一個以較少量遙控操作資料訓練、針對特定機器人的策略來執行。

為何重要

為每項技能蒐集特定任務的示範無法規模化。玩耍資料讓一次自由互動的時段能同時支援許多任務,它已成為目標條件、語言條件與長時程模仿學習的常見基礎。

主要應用

  • 訓練目標條件操作策略
  • 搭配事後標註的語言條件模仿學習
  • 串接子目標而完成的長時程任務
  • 預訓練潛在規劃或技能表徵
  • 多任務桌面操作基準

實際應用

一個實驗室布置了一個廚房風格的桌面,上面有抽屜、櫃子、積木與電燈開關,一名操作員在沒有任何指示的情況下,長時間以 VR 控制器遙控操作機器手臂,隨意與自己選擇的物體互動。訓練時,由攝影機影像、本體感知與動作組成的錄製內容被切成短視窗,每個視窗以其最後一個影格作為目標加以標註。目標條件策略學習到達任何目標影像,之後再為一小部分視窗標註「打開抽屜」之類的指令,以支援語言命令。測試時,機器人串接數個目標來完成較長的任務,例如打開抽屜、把一塊積木放進去,再把抽屜關上。

常見誤解

  • 玩耍資料是隨機探索 — 它是有目的的人類行為;只是沒有綁定預先定義的任務
  • 玩耍資料需要任務標籤才有用 — 事後重新標註不需要標籤,就能把任何片段變成一個到達目標的範例
  • 玩耍資料能完全取代任務示範 — 涵蓋範圍取決於操作員,因此罕見或精細的行為可能仍需要針對性的示範

誰需要了解

  • 模仿學習研究人員
  • 機器人資料蒐集與遙控操作團隊
  • 訓練語言條件操作策略的工程師
  • 從事長時程操作的研究人員

相關技術

  • 事後重新標註(Hindsight Relabeling)
  • 從玩耍中學習(Learning from Play,Play-LMP)
  • VR 遙控操作(VR Teleoperation)
  • CALVIN 基準(CALVIN Benchmark)
  • 條件變分自編碼器(Conditional Variational Autoencoders)

相關術語

  • Goal-Conditioned Policy
  • Imitation Learning
  • Teleoperation
  • Behavior Cloning
  • Visuomotor Policy

相關專案

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
  • XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
  • DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。