No Plan but Everything under Control: Robustly Solving Sequential Tasks with Dynamically Composed Gradient Descent
作者: Vito Mengers, Oliver Brock · ICRA 2025
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。
一句話摘要
沿著一個由相互連接的估計器所組成之網路中最陡的梯度前進，不需規劃器就能解決積木世界與真實的開抽屜任務，並能適應不確定性與干擾。
為何重要
此方法不需計算規劃就能完成多步驟操作，而移動攝影機以降低不確定性、重新找到遺失的把手以及重新抓取等行為，都是從梯度選擇中產生，而非程式設計出來的。在抽屜實驗中，當櫃子被移動或把手被從手中拉出時，它仍能持續運作，而規劃基準方法在這些情況下效能下降。
問題
規劃器透過預測未來狀態來安排子目標的順序，但不確定性會在規劃視界內累積，因此成本高昂的規劃在動態或不確定的情境中常變得不可行。短視的以梯度為基礎的控制能迅速適應回饋，卻一直侷限於連續的單步問題，因為子目標很難編碼在一個涵蓋所有任務與環境變化的勢函數中。
提出的方法
作者將世界的規律性編碼在 AICON 中，這是一個由遞迴估計器（元件）組成的網路，元件之間以主動互連相連，其資訊交換會隨系統狀態而改變。一個可微分的目標成本沿著通往致動訊號的每條路徑以連鎖律展開，在每個時間步只沿這些梯度中最陡的一個前進，因此會改變某個互連狀態的梯度就成為隱含子目標。此模式被應用於積木世界，以及在 Panda 手臂上進行的部分可觀測開抽屜任務，該手臂配備 RBO Hand 3、腕部力/力矩感測器與手內 RGB 攝影機。
關鍵見解
- 子目標不必逐一列出：當一個主動互連處於穩定的狀態時，連鎖律會產生一個試圖改變該狀態的梯度，這就扮演了隱含子目標的角色。
- 只沿最陡的梯度前進可避免梯度衝突；在消融實驗中，改為將梯度加總會導致不穩定、抖動的行為，偶爾還會失敗。
- 互動式感知（移動腕部攝影機以三角測量抽屜）與錯誤復原從梯度下降中湧現，而非明確實作。
- 具有相互競爭的子目標、不可逆動作或需要暫時退步的任務，例如河內塔，仍然需要規劃。
主要結果
- 積木世界（10 到 30 塊積木，0 到 15 座塔）：基本的梯度下降與帶有主動互連目標的變體都解決了所有實例，包括需要至少 35 步的實例，步數接近最佳移動次數。正文說產生了 100 個以上的實例；圖 2 的說明則說是 130 個隨機產生的問題。
- 拆塔問題以最佳方式解決；堆疊問題則因子目標相互競爭而出現額外的移動，將目標與目前狀態互連後，這些額外移動有所減少但未消除。
- 在不同的先驗不確定性、外加的感測器雜訊，以及輕度（櫃子被移動）或重度（抽屜被從手中拉出）干擾下的真實開抽屜實驗，每種情境 10 次執行：七十次試驗中有 3 次失敗，全部源自未建模的奇異點與自我碰撞。摘要所計的真實世界抽屜試驗總數為一百次。
- 此方法優於使用預先計算軌跡的狀態空間規劃器，以及帶有探索性動作的信念空間規劃器；信念空間規劃器能處理不確定性，但難以應付大的干擾，而此方法的計算成本低於 67 維的信念空間規劃。
- 在三種初始組態與三種替代任務上的消融實驗（每種設定 n = 5）：減少主動互連會造成效能急劇下降，在需要調整視角或抓取的任務中下降最多。
限制
- 相互競爭的子目標與缺乏前瞻會導致次佳的移動；要穩定找到積木世界的捷徑（直接在塔之間移動積木）需要規劃（作者陳述）。
- 具有不可逆動作的任務（例如破壞物體），或需要暫時退步的相互衝突子目標（例如河內塔），仍然需要規劃（作者陳述）。
- 三次真實世界抽屜失敗全都來自系統未建模的效應：奇異點與自我碰撞。
- 每個任務都使用各自指定的一組估計器、互連與目標成本；論文為積木世界與開抽屜各建立了一個這樣的系統。
- 真實機器人評估只涵蓋一類任務，也就是開抽屜，每種情境十次試驗，每種消融設定五次。
對領域的影響
榮獲 IEEE ICRA 2025 規劃與控制最佳論文獎，並入圍 ICRA 2025 機器人學習最佳論文獎決選；被引用 10 次。論文連結了一個附有補充影片的專案頁面，該頁面再連結到 AICON 程式碼儲存庫與教學。
摘要
我們提出一種新的以梯度為基礎的方法來解決序列任務，它會依據回饋與世界的規律性，動態調整底層的短視勢場。這種調整隱含地考量了編碼在這些規律性中的子目標，因而能解決長序列任務，正如在傳統規劃領域積木世界（Blocks World）中所展示的——完全不需要任何規劃。不同於傳統規劃方法，我們以回饋驅動的方法能適應不確定且動態的環境，正如一百次涉及抽屜操作的真實世界試驗所展示的。這些實驗凸顯了我們的方法相較於規劃的穩健性，並顯示互動式感知與錯誤復原如何在沒有明確實作的情況下，從梯度下降中自然湧現。這為各種序列任務提供了一種計算上有效率的規劃替代方案，同時與對生物解題策略的觀察相符。
連結
- arXiv 2503.01732: https://arxiv.org/abs/2503.01732
- DOI 10.1109/ICRA55743.2025.11127552: https://doi.org/10.1109/ICRA55743.2025.11127552
- PDF: https://arxiv.org/pdf/2503.01732v1
- 程式碼: https://github.com/tu-rbo/aicon
- 專案頁面: https://www.tu.berlin/robotics/papers/noplan