Action Chunking

• 又称: action chunks, chunked action prediction, action sequence prediction
• 类别: Learning & autonomy › Learning from demonstration
• 标签: imitation-learning, robot-learning, visuomotor-policy, manipulation, behavior-cloning, action-representation

一种策略设计：机器人一次预测一小段未来动作序列，并在重新查询策略之前执行其中若干个动作，而不是每一步预测一个动作。

定义

动作分块（action chunking）是机器人学习中的一种技术：策略根据单次观测输出一段由连续未来动作组成的块（chunk），而不是只输出当前时间步的单个动作。随后机器人执行该块中的部分或全部动作，再重新查询策略。这一思路通过 Action Chunking with Transformers（ACT）策略在机器人模仿学习中受到广泛关注，ACT 由 Zhao、Kumar、Levine 和 Finn 于 2023 年与 ALOHA 双臂遥操作系统一同提出。

主要动机是累积误差。通过行为克隆训练、每次预测一个动作的策略，可能会稍微偏离示教中的状态，而每个小错误都会让它进一步陷入训练数据从未覆盖的情形。预测一个动作块缩短了任务的有效时域：许多控制步变成数量更少的块级决策，因此误差累积的机会更少。

分块也有助于处理人类示教，这些示教往往是非马尔可夫的。操作者会停顿、犹豫，或遵循取决于自己片刻之前做了什么的习惯，而不仅仅取决于相机当前所见。输出连贯多步片段的模型，比被迫孤立地决定每一步的模型，能更忠实地再现这些时间上相关的模式。

平滑性与反应性之间存在权衡：执行完整动作块的机器人在该块结束前无法对新的观测作出反应，当物体在移动或接触不确定时，这会成为问题。常见的补救办法包括：只执行每个块的前一部分就重新预测，扩散策略在滚动时域循环中通常就是这样做的；以及时间集成（temporal ensembling），即对来自相继动作块、针对同一时间步的重叠预测进行加权平均。块长度是一个调优参数，取决于控制频率和任务动力学。

动作分块如今出现在许多类别的策略中，包括 Transformer 策略、扩散策略和视觉-语言-动作模型，并且它与动作的表示方式相互影响，例如在将连续动作序列转换为离散 token 时。

为何重要

动作分块是使基于少量人类示教的模仿学习能够在精细操作任务上可靠工作的设计选择之一。它减少累积误差并产生更平滑的运动，如今已是许多视觉运动策略和机器人基础模型的默认组成部分。

主要应用

• 双臂操作 — 从遥操作示教中学习精细的双臂任务
• 视觉运动策略 — 根据相机图像和关节状态预测平滑的动作序列
• 扩散策略 — 生成在滚动时域循环中执行的多步动作序列
• 视觉-语言-动作模型 — 根据语言指令和图像输出动作片段
• 动作 token 化 — 将动作序列压缩为离散 token，供基于 Transformer 的策略使用

实际应用

用遥操作示教训练操作策略的团队，通常以固定控制频率记录关节位置或末端执行器位姿，然后训练策略根据当前相机图像和关节状态预测接下来的若干个动作。部署时，控制器运行策略，执行预测动作块的一部分，再次调用策略，并常常融合重叠的预测，以避免在块边界处出现抖动。工程师通过观察两种失效模式来调节块长度和每次查询执行的动作数：动作块过短时运动抖动或迟疑，动作块过长时对扰动反应迟缓。

常见误解

• 动作分块意味着让机器人开环运行 — 大多数实现会在一个动作块结束前再次查询策略，使系统在块级别保持闭环
• 动作块越长越好 — 长动作块减少累积误差，但会使机器人对扰动和移动物体的反应变慢
• 动作分块是 ACT 特有的 — 同样的思路也用于扩散策略、基于 token 的自回归策略以及许多视觉-语言-动作模型

谁需要了解

• 从示教中训练策略的机器人学习研究人员
• 在机械臂上部署视觉运动策略的工程师
• 构建遥操作数据采集流水线的团队
• 学习模仿学习方法的学生

相关技术

• Action Chunking with Transformers（ACT）
• 扩散策略（Diffusion Policy）
• 行为克隆（Behavior Cloning）
• 视觉-语言-动作模型（Vision-Language-Action Models）
• 时间集成（Temporal Ensembling）
• ALOHA

相关术语

• Imitation Learning
• Behavior Cloning
• Diffusion Policy
• Teleoperation

相关项目

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

视频

• RI Seminar: Max Simchowitz: Generative Control, Action Chunking, and Moravec’s Paradox: CMU Robotics Institute
• Machine Learning Series - ACT Action Chunking Transformers: Trossen Robotics