No Plan but Everything under Control: Robustly Solving Sequential Tasks with Dynamically Composed Gradient Descent

著者: Vito Mengers, Oliver Brock · ICRA 2025

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

相互接続された推定器のネットワークを通じて最も急な勾配をたどることで、プランナーなしに Blocks World と実際の引き出し開けを解き、不確実性と外乱に適応する。

重要な理由

この手法は計画を計算せずに多段階の操作を完了し、不確実性を減らすためにカメラを動かす、見失った取っ手を見つけ直す、つかみ直すといった振る舞いは、プログラムされたものではなく勾配の選択から生じる。引き出しの実験では、キャビネットを動かしたり取っ手を手から引き抜いたりしても動作を続け、プランニングのベースラインはそうした場合に性能を落とした。

課題

プランナーは将来の状態を予測してサブゴールの順序を決めるが、不確実性は計画ホライズンにわたって累積するため、コストのかかる計画は動的または不確実な状況ではしばしば実行不能になる。近視眼的な勾配ベースの制御はフィードバックに素早く適応するが、すべてのタスクと環境の変動をカバーする一つのポテンシャル関数にサブゴールを符号化するのが難しいため、連続的な単一ステップの問題に限られてきた。

提案手法

著者らは世界の規則性を AICON に符号化する。これは再帰的推定器（コンポーネント）のネットワークで、コンポーネントはシステムの状態に応じて情報のやり取りが変わる能動的な相互接続で結ばれている。微分可能なゴールコストを、アクチュエーション信号に至るすべての経路に沿って連鎖律で展開し、各時間ステップではそれらの勾配のうち最も急なものだけをたどる。そのため、相互接続の状態を変えるような勾配が暗黙のサブゴールとして働く。このパターンを Blocks World と、RBO Hand 3、手首の力/トルクセンサー、手の中の RGB カメラを備えた Panda アームによる部分観測の引き出し開けタスクに適用する。

主な知見

• サブゴールを列挙する必要はない。能動的な相互接続が定常的な状態にあるとき、連鎖律によってその状態を変えようとする勾配が得られ、これが暗黙のサブゴールとして働く。
• 最も急な勾配だけをたどることで、勾配同士の衝突を避けられる。アブレーションでは、代わりに勾配を合計すると不安定でぎくしゃくした振る舞いになり、ときに失敗した。
• インタラクティブ知覚（手首のカメラを動かして引き出しを三角測量する）とエラーからの回復は、明示的に実装されることなく勾配降下から創発した。
• 競合するサブゴール、不可逆な行動、あるいはハノイの塔のように一時的な後退を必要とするタスクには、依然としてプランニングが必要である。

主な結果

• Blocks World（ブロック 10 から 30 個、塔 0 から 15 本）：基本の勾配降下と、ゴールを能動的に相互接続した変種の両方が、少なくとも 35 手を要するものを含むすべてのインスタンスを最適な手数に近い手数で解いた。本文では 100 を超えるインスタンスを生成したとあり、図 2 のキャプションではランダムに生成した 130 の問題とある。
• 積み下ろしの問題は最適に解かれた。積み上げの問題では競合するサブゴールによる余分な手が見られ、ゴールを現在の状態と相互接続することで減ったが、なくなりはしなかった。
• 事前の不確実性の違い、追加したセンサーノイズ、軽い（キャビネットを動かす）または重い（引き出しを手から引き抜く）外乱の下での実際の引き出し開け、シナリオごとに 10 回の実行：70 回の試行で失敗は 3 回で、すべてモデル化されていない特異点と自己衝突によるものだった。要旨では実世界での引き出しの試行を合計 100 回と数えている。
• この手法は、事前計算した軌道を用いる状態空間プランナーと、探索的な動作を伴う信念空間プランナーを上回った。信念空間プランナーは不確実性には対処できたが大きな外乱に苦戦し、この手法は 67 次元の信念空間プランニングより計算コストが低かった。
• 3 つの初期コンフィギュレーションと 3 つの別タスクにわたるアブレーション（設定ごとに n = 5）：能動的な相互接続を減らすと性能が急激に低下し、視点の調整や把持を必要とするタスクで最も大きく低下した。

制限事項

• 競合するサブゴールと先読みの欠如により最適でない手が生じる。Blocks World の近道（塔の間でブロックを直接動かす）を一貫して見つけるにはプランニングが必要である（著者らの記載）。
• 物体を壊すといった不可逆な行動を伴うタスクや、ハノイの塔のように一時的な後退を要する相反するサブゴールには、依然としてプランニングが必要である（著者らの記載）。
• 実世界での引き出しの失敗 3 件はすべて、システムがモデル化していない効果、すなわち特異点と自己衝突によるものだった。
• 各タスクはそれぞれ指定された推定器、相互接続、ゴールコストの組を用いる。論文は Blocks World 用と引き出し開け用にそうしたシステムを一つずつ構築している。
• 実機評価は引き出し開けという一つのタスク群のみで、シナリオごとに 10 回、アブレーション設定ごとに 5 回の試行である。

分野への影響

IEEE ICRA 2025 Best Paper Award on Planning and Control を受賞し、ICRA 2025 Best Paper Award on Robot Learning のファイナリストにもなった。被引用数は 10。論文は補足動画を載せたプロジェクトページへリンクしており、そこから AICON のコードリポジトリとチュートリアルへリンクしている。

概要

我々は、フィードバックと世界の規則性に応じて、基盤となる近視眼的なポテンシャル場を動的に調整することで逐次タスクを解く、新しい勾配ベースの手法を提案する。この調整は、これらの規則性に符号化されたサブゴールを暗黙的に考慮しており、伝統的なプランニング領域である Blocks World を――一切のプランニングなしに――解くことで示すように、長い逐次タスクの解決を可能にする。従来のプランニング手法とは異なり、我々のフィードバック駆動のアプローチは不確実で動的な環境に適応する。これは引き出しの操作を含む 100 回の実世界試行で示されている。これらの実験は、プランニングと比べた我々の手法の頑健性を浮き彫りにし、インタラクティブ知覚とエラーからの回復が、明示的に実装しなくても勾配降下から自然に創発することを示す。これは、生物の問題解決戦略に関する観察とも整合しつつ、さまざまな逐次タスクにおいてプランニングに代わる計算効率の高い選択肢を提供する。

リンク

• arXiv 2503.01732: https://arxiv.org/abs/2503.01732
• DOI 10.1109/ICRA55743.2025.11127552: https://doi.org/10.1109/ICRA55743.2025.11127552
• PDF: https://arxiv.org/pdf/2503.01732v1
• コード: https://github.com/tu-rbo/aicon
• プロジェクトページ: https://www.tu.berlin/robotics/papers/noplan