Action Chunking

• 又稱: action chunks, chunked action prediction, action sequence prediction
• 類別: Learning & autonomy › Learning from demonstration
• 標籤: imitation-learning, robot-learning, visuomotor-policy, manipulation, behavior-cloning, action-representation

一種策略設計：機器人一次預測一小段未來動作序列，並在再次查詢策略之前執行其中數個動作，而不是每一步預測一個動作。

定義

動作分塊（action chunking）是機器人學習中的一種技術：策略根據單一觀測輸出一段由連續未來動作組成的區塊（chunk），而不是只輸出目前時間步的單一動作。接著機器人執行該區塊中的部分或全部動作，然後再次查詢策略。這個想法因 Action Chunking with Transformers（ACT）策略而在機器人模仿學習中廣受關注；ACT 由 Zhao、Kumar、Levine 與 Finn 於 2023 年連同 ALOHA 雙臂遠端操作系統一起提出。

主要動機在於誤差累積。以行為複製訓練、一次預測一個動作的策略，可能會稍微偏離示範中的狀態，而每個小錯誤都會讓它更深入訓練資料從未涵蓋的情境。預測一個區塊能縮短任務的有效時域：許多控制步變成數量較少的區塊層級決策，因此誤差累積的機會也較少。

分塊也有助於處理人類示範，因為這些示範往往是非馬可夫的。操作者會停頓、猶豫，或依循取決於自己片刻前做了什麼的習慣，而不只取決於相機目前看到的畫面。輸出連貫多步片段的模型，比被迫逐步孤立決策的模型，更能忠實重現這些在時間上相關的模式。

平滑度與反應性之間存在取捨：執行完整區塊的機器人在區塊結束前無法對新的觀測做出反應，當物體在移動或接觸不確定時，這就成了問題。常見的補救方式包括：只執行每個區塊的前段就重新預測，擴散策略在滾動時域迴圈中通常正是如此；以及時間集成（temporal ensembling），也就是將相繼區塊中針對同一時間步的重疊預測加權平均。區塊長度是一個調校參數，取決於控制頻率與任務動力學。

動作分塊如今出現在許多類型的策略中，包括 Transformer 策略、擴散策略與視覺-語言-動作（VLA）模型，而且它會與動作的表示方式相互影響，例如將連續動作序列轉換成離散 token 時。

為何重要

動作分塊是讓以少量人類示範進行的模仿學習能在精細操作任務上可靠運作的設計選擇之一。它能減少誤差累積並產生更平順的動作，如今已是許多視覺運動策略與機器人基礎模型的預設組成部分。

主要應用

• 雙臂操作 — 從遠端操作示範中學習精細的雙臂任務
• 視覺運動策略 — 根據相機影像與關節狀態預測平順的動作序列
• 擴散策略 — 產生在滾動時域迴圈中執行的多步動作序列
• VLA 模型 — 根據語言指令與影像輸出動作片段
• 動作 token 化 — 將動作序列壓縮成離散 token，供以 Transformer 為基礎的策略使用

實際應用

以遠端操作示範訓練操作策略的團隊，通常會以固定的控制頻率記錄關節位置或末端執行器姿態，再訓練策略根據目前的相機影像與關節狀態預測接下來的數個動作。部署時，控制器執行策略、執行預測區塊的一部分，然後再次呼叫策略，並常會融合重疊的預測，以避免在區塊邊界出現抖動。工程師會觀察兩種失效模式來調整區塊長度與每次查詢所執行的動作數：區塊太短時動作抖動或遲疑，區塊太長時對擾動反應遲緩。

常見誤解

• 動作分塊代表讓機器人以開迴路運行 — 多數實作會在區塊結束前再次查詢策略，讓系統在區塊層級維持閉迴路
• 區塊越長越好 — 長區塊能減少誤差累積，但會讓機器人對擾動與移動物體的反應變慢
• 動作分塊是 ACT 專屬的 — 同樣的想法也用於擴散策略、以 token 為基礎的自迴歸策略，以及許多 VLA 模型

誰需要了解

• 從示範中訓練策略的機器人學習研究人員
• 在機器手臂上部署視覺運動策略的工程師
• 建置遠端操作資料蒐集流程的團隊
• 學習模仿學習方法的學生

相關技術

• Action Chunking with Transformers（ACT）
• 擴散策略（Diffusion Policy）
• 行為複製（Behavior Cloning）
• VLA 模型（Vision-Language-Action Models）
• 時間集成（Temporal Ensembling）
• ALOHA

相關術語

• Imitation Learning
• Behavior Cloning
• Diffusion Policy
• Teleoperation

相關專案

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

影片

• RI Seminar: Max Simchowitz: Generative Control, Action Chunking, and Moravec’s Paradox: CMU Robotics Institute
• Machine Learning Series - ACT Action Chunking Transformers: Trossen Robotics