Open Source Robotics

精選高品質的開源機器人專案、工具與軟體，推動機器人社群向前發展。

Behavior Cloning

  • 又稱: BC, Learning from Demonstrations
  • 類別: Learning & autonomy › Learning from demonstration
  • 標籤: robot-learning, demonstrations, supervised-learning, policy

一種機器學習技術，機器人藉由複製專家示範來學習任務。

定義

行為複製是一種機器學習技術，機器人藉由直接複製專家示範者的動作來學習執行任務。給定從示範中蒐集的狀態-動作配對資料集，機器人訓練一個策略（通常是神經網路），預測專家在任何給定狀態下會採取什麼動作。

這個過程很直接： 1. 資料蒐集：人類專家透過遠端操作、動覺教導（以手實際引導機器人）或 VR 控制器示範期望的行為。系統記錄觀測（攝影機影像、關節位置）以及與之配對的所採取動作。 2. 策略訓練：訓練一個監督式學習模型，把觀測映射到動作。模型將其預測動作與專家記錄動作之間的差異降到最小。 3. 部署：訓練好的策略在機器人上執行，根據即時的感測器觀測產生動作。

行為複製是模仿學習最簡單的形式，它的長處就在於簡單。然而，它有一個眾所周知的限制，稱為分布偏移（或累積誤差問題）：微小的預測誤差會讓機器人漂移到訓練資料中沒見過的狀態，而策略在那些狀態下可能產生越來越差的動作。DAgger（Dataset Aggregation）演算法透過在機器人實際到達的狀態中反覆蒐集修正示範來解決這個問題。

透過 Action Chunking Transformers（ACT）、擴散策略與視覺-語言-動作（VLA）模型等架構，現代行為複製有了重大進展。這些方法預測的是未來動作的序列而不是單一步驟，並能處理多模態的動作分布，與傳統行為複製相比，大幅提升了強健性。

行為複製是目前大多數開源機器人學習框架的基礎，包括 LeRobot，它讓蒐集示範與訓練操作任務的策略變得容易。

為何重要

行為複製是模仿學習最簡單的形式：記錄專家做了什麼，然後訓練網路從相同的觀測預測專家的動作。它是套用在控制上的監督式學習，沒有獎勵函數，也沒有探索。它的簡單，就是為什麼它是每個人第一個嘗試的方法，也是衡量其他一切方法的基準；而它唯一的結構性弱點，也就是累積誤差，正是這個領域沒有就此止步的原因。

主要應用

  • 設定一致、單純重複的操作
  • 用來與更精巧方法比較的基準策略
  • 強化學習微調之前的預訓練
  • 從記錄的人類操控中學習駕駛與車道跟隨
  • 快速原型開發，測試一項任務究竟能不能學
  • 把昂貴的規劃器蒸餾成快速的反應式策略

實際應用

以遠端操作讓手臂完成一項任務數十次，記錄觀測與動作，再訓練一個策略把前者映射到後者。它在重複且約束明確的任務上效果好得驚人。它的失效很有特色，值得認識：微小的預測誤差讓機器人稍微偏離示範的路徑，進入訓練資料從未包含的狀態，在那裡預測變得更差，偏差不斷累積，直到這次嘗試徹底失敗。實際的緩解方法是刻意示範恢復動作，或改用預測動作序列而不是單一步驟的方法。

常見誤解

  • 行為複製與模仿學習是同義詞：複製是一個更大家族中最簡單的一員
  • 它失敗只是因為資料不足：它造成的分布偏移是結構性的，不只是資料量的問題
  • 策略會從錯誤中恢復：如果從未示範過恢復行為，就無法學到它
  • 它不需要獎勵函數，所以也不需要評估：衡量成功仍然需要一個明確定義的標準

誰需要了解

  • 任何剛開始接觸機器人學習的人，因為這是第一個要嘗試的方法
  • 在判斷一項任務是否需要更強大方法的工程師
  • 想了解分布偏移在控制中為何重要的學生
  • 在建立基準的研究人員
  • 任何學到的策略能正常運作、直到稍微偏離路線為止的人

相關技術

  • DAgger（Dataset Aggregation）
  • 擴散策略
  • Action Chunking with Transformers（ACT）
  • 視覺-語言-動作模型（VLA）
  • 逆強化學習
  • 基於人類回饋的強化學習（RLHF）
  • 用於資料蒐集的遠端操作系統
  • 模擬到現實（Sim2Real）遷移

相關術語

  • Imitation Learning
  • Diffusion Policy
  • VLA
  • Teleoperation

相關專案

  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • DreamZero: NVIDIA World Action Model that jointly predicts future video and robot actions
  • robosuite: Modular MuJoCo simulation framework for robot learning research
  • LIBERO: Lifelong robot learning benchmark with 130 procedural tasks
  • Open X-Embodiment (OXE): Largest open robotics dataset: 1M+ episodes from 22 embodiments

影片

  • Core Concepts: Imitation Learning: Sanjiban Choudhury
  • ALOHA and ACT: LeRobot Research Presentation #1 by Alexander Soare: Hugging Face

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。