No Plan but Everything under Control: Robustly Solving Sequential Tasks with Dynamically Composed Gradient Descent

저자: Vito Mengers, Oliver Brock · ICRA 2025

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

서로 연결된 추정기 네트워크를 통해 가장 가파른 경사를 따르는 것만으로, 플래너 없이 Blocks World와 실제 서랍 열기를 해결하며 불확실성과 외란에 적응한다.

중요한 이유

이 방법은 계획을 계산하지 않고 다단계 조작을 완수하며, 불확실성을 줄이기 위해 카메라를 움직이기, 놓친 손잡이를 다시 찾기, 다시 잡기 같은 행동이 프로그래밍된 것이 아니라 경사 선택에서 생겨난다. 서랍 실험에서 이 방법은 캐비닛이 옮겨지거나 손잡이가 손에서 빠져나갔을 때도 계속 작동했으며, 이 상황에서 계획 기반 베이스라인은 성능을 잃었다.

문제

플래너는 하위 목표를 순서 짓기 위해 미래 상태를 예측하지만, 불확실성은 계획 수평선에 걸쳐 누적되므로 비용이 큰 계획은 동적이거나 불확실한 환경에서 자주 실행 불가능해진다. 근시안적 경사 기반 제어는 피드백에 빠르게 적응하지만, 모든 작업과 환경 변화를 아우르는 하나의 포텐셜 함수에 하위 목표를 인코딩하기 어렵기 때문에 연속적인 단일 단계 문제에 한정되어 왔다.

제안 방법

저자들은 세계의 규칙성을 AICON에 인코딩한다. AICON은 시스템 상태에 따라 정보 교환이 바뀌는 활성 상호연결로 이어진 재귀 추정기(구성 요소)의 네트워크다. 미분 가능한 목표 비용을 연쇄 법칙으로 구동 신호에 이르는 모든 경로를 따라 전개하고, 각 시간 단계에서 이 경사 중 가장 가파른 것만 따르므로, 상호연결의 상태를 바꾸게 될 경사가 암묵적 하위 목표로 작용한다. 이 패턴을 Blocks World와, RBO Hand 3, 손목 힘-토크 센서, 손 안 RGB 카메라를 갖춘 Panda 팔의 부분 관측 서랍 열기 작업에 적용한다.

핵심 통찰

하위 목표를 나열할 필요가 없다. 활성 상호연결이 정지 상태에 있을 때 연쇄 법칙은 그 상태를 바꾸려는 경사를 만들며, 이것이 암묵적 하위 목표로 작용한다.
가장 가파른 경사만 따르면 상충하는 경사를 피할 수 있다. 대신 경사를 합산하면 제거 실험에서 불안정하고 덜컥거리는 행동과 간헐적 실패가 나타났다.
상호작용적 인식(손목 카메라를 움직여 서랍을 삼각 측량하기)과 오류 복구가 명시적으로 구현되지 않았는데도 경사 하강으로부터 창발했다.
하노이의 탑처럼 하위 목표가 경쟁하거나, 비가역적 행동이 있거나, 일시적 후퇴가 필요한 작업은 여전히 계획이 필요하다.

주요 결과

Blocks World(블록 10~30개, 탑 0~15개): 기본 경사 하강과 능동적으로 상호연결된 목표를 쓰는 변형 모두 최소 35단계가 필요한 경우를 포함해 모든 인스턴스를 해결했으며, 이동 횟수는 최적에 가까웠다. 본문은 100개가 넘는 인스턴스를 생성했다고 하고, Fig. 2 캡션은 무작위로 생성한 문제 130개라고 한다.
쌓인 블록을 푸는 문제는 최적으로 해결되었다. 쌓는 문제에서는 경쟁하는 하위 목표로 인한 추가 이동이 나타났으며, 목표를 현재 상태와 상호연결하면 줄어들었지만 사라지지는 않았다.
다양한 사전 불확실성, 추가 센서 노이즈, 가벼운 외란(캐비닛 이동) 또는 큰 외란(서랍을 손에서 빼냄) 아래의 실제 서랍 열기, 시나리오당 10회 실행: 70회 시행 중 실패 3회였으며, 모두 모델링되지 않은 특이점과 자기 충돌 때문이었다. 초록은 실제 서랍 시행을 총 100회로 센다.
이 방법은 사전 계산된 궤적을 쓰는 상태 공간 플래너와 탐색 동작을 쓰는 믿음 공간 플래너보다 뛰어났다. 믿음 공간 플래너는 불확실성은 처리했지만 큰 외란에는 어려움을 겪었고, 이 방법은 67차원 믿음 공간 계획보다 계산 비용이 낮았다.
세 가지 초기 구성과 세 가지 대안 작업에 대한 제거 실험(설정당 n = 5): 활성 상호연결을 줄이면 성능이 급격히 떨어졌으며, 시점 조정이나 파지가 필요한 작업에서 가장 크게 떨어졌다.

한계

경쟁하는 하위 목표와 예측력 부족으로 최적이 아닌 이동이 생긴다. Blocks World의 지름길(탑 사이에서 블록을 직접 옮기기)을 일관되게 찾으려면 계획이 필요하다(저자들이 명시).
물체 파괴처럼 비가역적 행동이 있는 작업이나, 하노이의 탑처럼 일시적 후퇴가 필요한 상충 하위 목표가 있는 작업은 여전히 계획이 필요하다(저자들이 명시).
실제 서랍 실험의 실패 3회는 모두 시스템이 모델링하지 않는 효과, 즉 특이점과 자기 충돌에서 비롯되었다.
각 작업은 자체적으로 지정한 추정기, 상호연결, 목표 비용 집합을 사용한다. 논문은 Blocks World용과 서랍 열기용으로 그런 시스템을 하나씩 구축한다.
실제 로봇 평가는 서랍 열기라는 하나의 작업군만 다루며, 시나리오당 10회, 제거 실험 설정당 5회 시행이다.

분야에 미친 영향

IEEE ICRA 2025 Best Paper Award on Planning and Control을 수상했고 ICRA 2025 Best Paper Award on Robot Learning 최종 후보에 올랐으며, 인용 수는 10회다. 논문은 보충 영상이 있는 프로젝트 페이지를 링크하며, 그 페이지는 AICON 코드 저장소와 튜토리얼을 링크한다.

초록

우리는 피드백과 세계의 규칙성에 따라 기저의 근시안적 포텐셜 필드를 동적으로 조정함으로써 순차적 작업을 해결하는 새로운 경사 기반 접근법을 소개한다. 이 조정은 이러한 규칙성에 인코딩된 하위 목표를 암묵적으로 고려하여 긴 순차적 작업의 해결을 가능하게 하며, 이는 전통적인 계획 도메인인 Blocks World를 계획 없이 해결함으로써 입증된다. 기존 계획 방법과 달리, 우리의 피드백 기반 접근법은 서랍 조작을 포함한 100회의 실제 시행에서 입증되었듯이 불확실하고 동적인 환경에 적응한다. 이 실험들은 계획과 비교한 우리 방법의 강건성을 부각하며, 상호작용적 인식과 오류 복구가 명시적으로 구현하지 않아도 경사 하강으로부터 자연스럽게 창발함을 보여 준다. 이는 다양한 순차적 작업에 대해 계획의 계산 효율적인 대안을 제공하며, 생물학적 문제 해결 전략에 대한 관찰과도 부합한다.

링크

arXiv 2503.01732: https://arxiv.org/abs/2503.01732
DOI 10.1109/ICRA55743.2025.11127552: https://doi.org/10.1109/ICRA55743.2025.11127552
PDF: https://arxiv.org/pdf/2503.01732v1
코드: https://github.com/tu-rbo/aicon
프로젝트 페이지: https://www.tu.berlin/robotics/papers/noplan