Imitation Learning
- 又稱: Learning from Demonstration, IL
- 類別: Learning & autonomy › Learning from demonstration
- 標籤: robot-learning, demonstrations
機器人透過觀察並模仿專家示範來學習的機器學習方法。
定義
模仿學習（IL）是一種讓機器人透過觀察專家示範、而非明確的獎勵訊號來學習行為的方法。包括行為複製、逆向強化學習，以及從人類回饋中學習。
為何重要
模仿學習從示範而不是從獎勵函數來教機器人，因此避開了強化學習中最困難的部分：以無法被鑽漏洞的方式定義何謂成功。這對操作具有決定性，因為「把毛巾摺整齊」示範起來遠比評分容易。它是近來低成本操作大多數進展背後的方法，因為一個人用一套遠端操作設備，一個下午就能產生有用的訓練資料。
主要應用
- 從遠端操作示範學到的操作技能
- 成功容易辨認、卻難以用數值評分的任務
- 為之後由強化學習精煉的策略打底
- 雙臂協調，示範起來遠比明確定義容易
- 探索會不安全的手術與精細任務
- 在小批量或多變的生產中快速習得任務
實際應用
主流的工作流程是主從式遠端操作：人移動主手臂，從手臂跟著鏡像動作，關節狀態與攝影機影格則被記錄成資料集。這正是 SO-101 與 ALOHA 式配置的設計用途，也是這些設計成對出現的原因。已知的弱點是誤差累積：只看過專家軌跡的策略，一旦偏離這些軌跡就不知道如何恢復，這就是為什麼刻意示範恢復動作，而不只是完美的執行過程，在實務上會帶來如此大的差異。
常見誤解
- 機器人學會理解任務：它學會的是重現它被展示過的、從觀測到動作的對應
- 示範越多一定越有幫助：一致而多樣的示範遠比單純的數量重要，互相矛盾的示範則會造成實際傷害
- 它能泛化到展示過的範圍之外：在示範分布之外的行為，從原理上就不可靠
- 完美的示範最理想：沒有恢復的範例，策略在任何偏離之後都無法回到正軌
誰需要了解
- 任何在遠端操作手臂上蒐集示範資料的人
- 為操作任務挑選學習方法的工程師
- 比較模仿與強化方法的研究人員
- 想了解誤差累積為何主導單純複製方法的學生
- 任何買了主從手臂組、想知道它用途的人
相關技術
- 行為複製
- 逆強化學習
- DAgger（Dataset Aggregation）
- 擴散策略
- 遠端操作
- 基礎模型
- 強化學習
- 從示範中學習（LfD）
相關術語
相關專案
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- DreamZero: NVIDIA World Action Model that jointly predicts future video and robot actions
- robosuite: Modular MuJoCo simulation framework for robot learning research
- LIBERO: Lifelong robot learning benchmark with 130 procedural tasks
- Open X-Embodiment (OXE): Largest open robotics dataset: 1M+ episodes from 22 embodiments
影片
- Lecture 17 Imitation Learning -- CS287-FA19 Advanced Robotics at UC Berkeley: Pieter Abbeel