Action Chunking

• 別名: action chunks, chunked action prediction, action sequence prediction
• カテゴリ: Learning & autonomy › Learning from demonstration
• タグ: imitation-learning, robot-learning, visuomotor-policy, manipulation, behavior-cloning, action-representation

ステップごとに 1 つの行動を予測するのではなく、ロボットが将来の行動の短い系列を一度に予測し、ポリシーに再び問い合わせる前にそのうちのいくつかを実行するポリシー設計。

定義

アクションチャンキング（action chunking）は、ロボット学習において、ポリシーが現在の時間ステップに対する単一の行動ではなく、連続する将来の行動のブロック、すなわちチャンクを 1 回の観測から出力する手法である。ロボットはそのチャンクの一部または全部を実行してから、再びポリシーに問い合わせる。この考え方は、Zhao、Kumar、Levine、Finn が 2023 年に ALOHA 双腕遠隔操作システムとともに発表した Action Chunking with Transformers（ACT）ポリシーによって、ロボットの模倣学習で広く注目されるようになった。

主な動機は誤差の累積である。行動クローニングで学習し、一度に 1 つの行動を予測するポリシーは、デモンストレーションの状態からわずかに逸れることがあり、小さな誤りの一つひとつが、学習データがまったくカバーしていない状況へとさらに押しやる。チャンクを予測すると、タスクの実効的なホライズンが短くなる。多数の制御ステップがより少ないチャンク単位の判断になるため、誤差が蓄積する機会が減る。

チャンキングは、しばしば非マルコフ的である人間のデモンストレーションにも役立つ。操作者は立ち止まったり、ためらったり、カメラが今映しているものだけでなく、直前に自分がしたことに依存する癖に従ったりする。一貫した複数ステップの区間を出力するモデルは、各ステップを個別に決めざるをえないモデルよりも、こうした時間的に相関したパターンを忠実に再現できる。

滑らかさと反応性の間にはトレードオフがある。チャンク全体を実行するロボットは、それが終わるまで新しい観測に反応できず、物体が動いている場合や接触が不確かな場合には問題になる。一般的な対処法としては、各チャンクの最初の部分だけを実行して再び予測する方法があり、拡散ポリシーは通常これを後退ホライズンのループで行う。また、時間的アンサンブル（temporal ensembling）では、連続するチャンクから得られる同じ時間ステップに対する重なった予測を重み付きで平均する。チャンク長は、制御周期とタスクのダイナミクスに依存する調整パラメータである。

アクションチャンキングは現在、トランスフォーマーポリシー、拡散ポリシー、視覚・言語・行動モデルを含む多くの種類のポリシーに見られ、行動の表現方法、たとえば連続的な行動系列を離散トークンに変換する場合とも相互に関係する。

重要な理由

アクションチャンキングは、少数の人間のデモンストレーションからの模倣学習を、細かいマニピュレーションタスクで確実に機能させた設計上の選択の一つである。誤差の累積を減らし、より滑らかな動作を生み出すもので、今では多くの視覚運動ポリシーやロボット基盤モデルの標準的な構成要素となっている。

主な用途

• 双腕マニピュレーション — 遠隔操作によるデモンストレーションから細かい両腕タスクを学習する
• 視覚運動ポリシー — カメラ画像と関節状態から滑らかな行動系列を予測する
• 拡散ポリシー — 後退ホライズンのループで実行される複数ステップの行動系列を生成する
• 視覚・言語・行動モデル — 言語指示と画像から行動の区間を出力する
• 行動のトークン化 — トランスフォーマーベースのポリシーのために行動系列を離散トークンに圧縮する

実際の使われ方

遠隔操作によるデモンストレーションからマニピュレーションポリシーを学習させるチームは、通常、一定の制御周期で関節位置またはエンドエフェクタの姿勢を記録し、現在のカメラ画像と関節状態から次のいくつかの行動を予測するようにポリシーを学習させる。運用時には、コントローラがポリシーを実行し、予測されたチャンクの一部を実行してから再びポリシーを呼び出す。チャンクの境界でぎくしゃくした動きを避けるため、重なった予測をブレンドすることも多い。エンジニアは、チャンク長と 1 回の問い合わせあたりに実行する行動の数を、2 つの失敗モードを見ながら調整する。チャンクが短すぎるときの小刻みな、またはためらうような動きと、チャンクが長すぎるときの外乱への反応の遅さである。

よくある誤解

• アクションチャンキングはロボットをオープンループで動かすことを意味する — 多くの実装ではチャンクが終わる前にポリシーに再び問い合わせ、チャンク単位でシステムをクローズドループに保つ
• チャンクは長いほど良い — 長いチャンクは誤差の累積を減らすが、外乱や動く物体へのロボットの反応を遅くする
• アクションチャンキングは ACT に固有のものである — 同じ考え方は拡散ポリシー、トークンベースの自己回帰ポリシー、多くの視覚・言語・行動モデルでも使われている

知っておくべき人

• デモンストレーションからポリシーを学習させるロボット学習の研究者
• ロボットアームに視覚運動ポリシーを展開するエンジニア
• 遠隔操作によるデータ収集パイプラインを構築するチーム
• 模倣学習の手法を学ぶ学生

関連技術

• Action Chunking with Transformers（ACT）
• 拡散ポリシー（Diffusion Policy）
• 行動クローニング（Behavior Cloning）
• 視覚・言語・行動モデル（Vision-Language-Action Models）
• 時間的アンサンブル（Temporal Ensembling）
• ALOHA

関連用語

• Imitation Learning
• Behavior Cloning
• Diffusion Policy
• Teleoperation

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

動画

• RI Seminar: Max Simchowitz: Generative Control, Action Chunking, and Moravec’s Paradox: CMU Robotics Institute
• Machine Learning Series - ACT Action Chunking Transformers: Trossen Robotics