Lifelong Robot Learning
- 又稱: continual robot learning, lifelong learning
- 類別: Learning & autonomy › Learning from demonstration
- 標籤: continual-learning, robot-learning, catastrophic-forgetting, transfer-learning, imitation-learning
一種學習設定:機器人以同一個模型隨時間習得一連串任務,目標是保留先前的技能,並重複利用它們來更快學會新任務。
定義
機器人終身學習(Lifelong robot learning)研究的是一個任務接一個任務持續學習的機器人,而不是只在固定資料集上訓練一次的機器人。Sebastian Thrun 與 Tom Mitchell 在 1990 年代中期使用了這個術語,主張面對許多相關任務的機器人,應該把先前任務的知識帶到後來的任務中,讓每個任務所需的範例更少。在嚴格的現代表述中,單一策略依序學習任務,並在學習新任務時無法再存取先前任務的資料。
核心難題是災難性遺忘:用新資料訓練神經網路,會改變先前任務所依賴的權重,使這些任務的表現下降。方法大致分為三類。重播保留一個由先前示範或經驗組成的小型緩衝區,並把它混入訓練。正規化對那些對先前任務重要的參數之變動施加懲罰,例如彈性權重鞏固。架構類方法讓每個任務擁有自己的參數或子網路(例如 PackNet),或隨時間加入新模組。結果以前向遷移(過去的學習是否加快新任務的學習)、後向遷移(新的學習是損害還是幫助舊任務,負值代表遺忘),以及在目前看過的所有任務上的整體成功率來報告。
機器人領域讓這個問題既更困難,也更有潛力。機器人資料昂貴,因此重複利用很重要;而任務之間共用物體、場景與動作,所以有很多可以遷移。LIBERO 等基準提供以程序化方式產生的操作任務組,用來把物體與空間配置方面的知識遷移,與行為的遷移區分開來。終身學習不同於多任務學習(所有任務同時可用),也不同於在單一新任務上微調預訓練模型,後者同樣可能侵蝕先前的能力。
為何重要
家庭、倉庫與實驗室中的機器人,在部署後會遇到新的任務。每次都用全部資料從頭重新訓練成本很高,而舊資料也未必會保留。終身學習方法決定了機器人能否在增加一項新技能的同時,不會悄悄失去一項舊技能。
主要應用
- 服務型與家用機器人在部署後學習新的家事
- 把操作策略延伸到新的物體與工具
- 讓已部署的機器人機隊適應新的場域與配置
- 在任務組上為持續模仿學習進行基準測試
- 隨時間為語言條件策略增加技能
實際應用
一個團隊維護一個操作策略,每隔幾週就透過遠端操作示範為它加入新任務。每次更新時,他們用新的示範,加上一個保存部分先前示範的重播緩衝區來訓練,並在發布前對每個先前學過的任務重新執行評估。他們依任務與訓練階段記錄一個成功率矩陣;如果某個先前任務的成功率下降,就擴大重播所占的比例,或凍結網路的某些部分。同一個矩陣也能呈現前向遷移:把新任務的學習速度,與從頭訓練的策略相比較。
常見誤解
- 終身學習只是在每個新任務上微調 — 單純的依序微調是通常會遺忘先前任務的基準方法;終身學習方法正是為了防止這一點
- 保留所有舊資料就能解決問題 — 這可以避免遺忘,但成本會隨每個任務增加,而且嚴格設定假設先前的資料有限或無法取得
- 終身學習與多任務學習是同一回事 — 多任務學習同時在所有任務上訓練,而終身學習是一個接一個地看到它們
- 避免遺忘就是全部目標 — 前向遷移,也就是過去的任務讓新任務學得更快,同樣是其中的一部分
誰需要了解
- 從事模仿學習與強化學習的機器人學習研究人員
- 維護已部署機器人上之策略的機器學習工程師
- 規劃機器人如何習得新技能的服務型機器人開發者
- 設計機器人學習基準的研究人員
相關技術
- 持續學習(Continual Learning)
- 彈性權重鞏固(Elastic Weight Consolidation)
- 經驗重播(Experience Replay)
- 多任務學習(Multitask Learning)
- 遷移學習(Transfer Learning)
- LIBERO
相關術語
- Imitation Learning
- Behavior Cloning
- Curriculum Learning
- Goal-Conditioned Policy
- Foundation Model
- Reinforcement Learning
相關專案
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
- OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
- Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.