ACT (Action Chunking with Transformers)
以 Transformer 為基礎的雙臂操作策略學習
授權條款
MIT
概述
Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware。ACT 是一種以 Transformer 為基礎、用於機器人操作的策略學習方法,它使用 action chunking(動作分塊),讓 Transformer 能用於模仿學習。最初是為 ALOHA 雙臂遠端操作系統開發的。
ACT(Action Chunking with Transformers)是一種以 Transformer 為基礎的模仿學習方法,專為機器人操作任務設計。
其關鍵創新是動作分塊(action chunking):ACT 不是一次預測一個動作,而是預測一段時間序列的動作(一個「區塊」),讓機器人的行為更平順、更連貫。
ACT 最初是為 ALOHA(A Low-cost Open-source Hardware System for Bimanual Teleoperation)專案開發的,讓機器人能以相對少量的訓練範例,從人類示範中學會複雜的雙臂操作任務。
此方法結合了: - 用於處理攝影機觀測的 Vision Transformer 編碼器 - 用於產生平順動作的時間性動作分塊 - 用於建模多模態動作分布的 CVAE(Conditional Variational Autoencoder) - 以小型示範資料集在消費級硬體上高效率訓練
ACT 已在雙臂插入、線纜佈線與包裹傳遞等任務上展現成效,只需少至 50 次示範就能達到人類水準的表現。
為何重要
ACT 引入了動作分塊(action chunking),也就是一次預測一段未來動作序列,而非一次一個,這成為模仿學習的主流做法。搭配低成本的 ALOHA 硬體,ACT 讓全球的實驗室都能進行雙臂操作研究。
解決的問題
模仿學習中的單步動作預測會受到誤差累積的影響:小錯誤會逐步累積成失敗。ACT 預測在時間上一致的未來動作區塊,大幅減少精細操作任務中的誤差累積。
重點
- 動作分塊預測動作序列,大幅提升模仿學習的品質
- 以 Transformer 為基礎的架構,搭配 CVAE 進行多模態動作預測
- 搭配低成本的 ALOHA 雙臂硬體(總計 2 萬美元)
- 只需 50 次示範就能完成將電池插入插槽等複雜任務
- Mobile ALOHA 與許多後續研究系統的基礎
適用對象
- 模仿學習研究人員
- 打造雙臂操作系統的實驗室
- 學習機器人策略架構的學生
- 使用 ALOHA 或類似低成本硬體的團隊
限制
- 需要透過遠端操作收集示範資料
- 在與訓練資料差異很大的任務上效能會下降
- 策略偏離時沒有內建的復原機制