Action Chunking

• También llamado: action chunks, chunked action prediction, action sequence prediction
• Categoría: Learning & autonomy › Learning from demonstration
• Etiquetas: imitation-learning, robot-learning, visuomotor-policy, manipulation, behavior-cloning, action-representation

Un diseño de política en el que un robot predice de una vez una secuencia corta de acciones futuras y ejecuta varias de ellas antes de volver a consultar la política, en lugar de predecir una acción por paso.

Definición

Chunking de acciones (action chunking) es una técnica de aprendizaje de robots en la que una política genera, a partir de una sola observación, un bloque o chunk de acciones futuras consecutivas en lugar de una única acción para el paso de tiempo actual. El robot ejecuta después parte o la totalidad de ese chunk antes de volver a consultar la política. La idea ganó amplia difusión en el aprendizaje por imitación para robots con la política Action Chunking with Transformers (ACT), presentada por Zhao, Kumar, Levine y Finn en 2023 junto con el sistema de teleoperación bimanual ALOHA.

La principal motivación es el error acumulado. Una política entrenada por clonación del comportamiento que predice una acción cada vez puede desviarse ligeramente de los estados demostrados, y cada pequeño error la lleva más lejos, hacia situaciones que los datos de entrenamiento nunca cubrieron. Predecir un chunk acorta el horizonte efectivo de la tarea: muchos pasos de control se convierten en un número menor de decisiones a nivel de chunk, de modo que hay menos ocasiones para que los errores se acumulen.

El chunking también ayuda con las demostraciones humanas, que a menudo no son markovianas. Los operadores hacen pausas, dudan o siguen hábitos que dependen de lo que hicieron un momento antes, no solo de lo que muestra la cámara en ese instante. Un modelo que genera un segmento coherente de varios pasos puede reproducir estos patrones correlacionados en el tiempo con más fidelidad que uno obligado a decidir cada paso por separado.

Hay un compromiso entre suavidad y reactividad: un robot que ejecuta un chunk completo no puede reaccionar a nuevas observaciones hasta que termina, lo que es un problema cuando los objetos se mueven o el contacto es incierto. Entre los remedios habituales están ejecutar solo la primera parte de cada chunk antes de volver a predecir, como suelen hacer las políticas de difusión en un bucle de horizonte deslizante, y el ensamblado temporal (temporal ensembling), en el que las predicciones superpuestas para el mismo paso de tiempo procedentes de chunks sucesivos se promedian con pesos. La longitud del chunk es un parámetro de ajuste que depende de la frecuencia de control y de la dinámica de la tarea.

El chunking de acciones aparece hoy en muchas clases de políticas, incluidas las políticas basadas en transformadores, las políticas de difusión y los modelos vision-language-action, e interactúa con la forma en que se representan las acciones, por ejemplo cuando secuencias de acciones continuas se convierten en tokens discretos.

Por qué importa

El chunking de acciones es una de las decisiones de diseño que hicieron que el aprendizaje por imitación a partir de un número modesto de demostraciones humanas funcionara de forma fiable en tareas de manipulación finas. Reduce los errores acumulados y produce movimientos más suaves, y hoy es un componente por defecto de muchas políticas visuomotoras y modelos fundacionales para robots.

Aplicaciones clave

• Manipulación bimanual — aprender tareas finas con dos brazos a partir de demostraciones teleoperadas
• Políticas visuomotoras — predecir secuencias de acciones suaves a partir de imágenes de cámara y estados articulares
• Políticas de difusión — generar secuencias de acciones de varios pasos que se ejecutan en un bucle de horizonte deslizante
• Modelos vision-language-action — generar segmentos de acciones a partir de instrucciones en lenguaje e imágenes
• Tokenización de acciones — comprimir secuencias de acciones en tokens discretos para políticas basadas en transformadores

En la práctica

Un equipo que entrena una política de manipulación a partir de demostraciones teleoperadas suele registrar las posiciones articulares o las poses del efector final a una frecuencia de control fija, y después entrena la política para predecir las siguientes acciones a partir de las imágenes de cámara y los estados articulares actuales. En el despliegue, el controlador ejecuta la política, ejecuta parte del chunk predicho y vuelve a llamar a la política, a menudo mezclando las predicciones superpuestas para evitar sacudidas en los límites entre chunks. Los ingenieros ajustan la longitud del chunk y el número de acciones ejecutadas por consulta vigilando dos modos de fallo: un movimiento tembloroso o vacilante cuando los chunks son demasiado cortos, y reacciones lentas a las perturbaciones cuando son demasiado largos.

Ideas erróneas comunes

• El chunking de acciones significa ejecutar el robot en lazo abierto — la mayoría de las implementaciones vuelven a consultar la política antes de que termine un chunk, lo que mantiene el sistema en lazo cerrado a nivel de chunk
• Los chunks más largos siempre son mejores — los chunks largos reducen el error acumulado, pero hacen que el robot reaccione más despacio a perturbaciones y objetos en movimiento
• El chunking de acciones es exclusivo de ACT — la misma idea se usa en las políticas de difusión, en políticas autorregresivas basadas en tokens y en muchos modelos vision-language-action

Quién debería saberlo

• Investigadores en aprendizaje de robots que entrenan políticas a partir de demostraciones
• Ingenieros que despliegan políticas visuomotoras en brazos robóticos
• Equipos que construyen pipelines de recogida de datos por teleoperación
• Estudiantes que aprenden métodos de aprendizaje por imitación

Tecnologías relacionadas

• Action Chunking with Transformers (ACT)
• Política de difusión (Diffusion Policy)
• Clonación del comportamiento (Behavior Cloning)
• Modelos vision-language-action (Vision-Language-Action Models)
• Ensamblado temporal (Temporal Ensembling)
• ALOHA

Términos relacionados

• Imitation Learning
• Behavior Cloning
• Diffusion Policy
• Teleoperation

Proyectos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

Vídeos

• RI Seminar: Max Simchowitz: Generative Control, Action Chunking, and Moravec’s Paradox: CMU Robotics Institute
• Machine Learning Series - ACT Action Chunking Transformers: Trossen Robotics