ActivePusher: Active Learning and Planning with Residual Physics for Nonprehensile Manipulation

저자: Zhuoyun Zhong, Seyedali Golestaneh, Constantinos Chamzas · ICRA 2026

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

NTK 기반 불확실성을 갖춘 잔차 물리 밀기 모델이 연습할 가장 유익한 밀기와 계획에 쓸 가장 신뢰할 수 있는 밀기를 골라, 데이터 효율과 밀어서 파지하기(push-to-grasp) 성공률을 높인다.

중요한 이유

이 접근법은 대규모 오프라인 데이터셋, 고충실도 시뮬레이터, 인간 시연이 필요 없으며, 로봇이 물체를 스스로 재배치하므로 사람의 개입 없이 학습이 진행된다. 같은 불확실성 추정치가 데이터 수집과 계획 모두에 쓰여, 기술 학습을 과제 성공과 직접 연결한다.

문제

해석적 밀기 모델은 단순화된 마찰, 접촉, 질량 가정에 기반하는 반면, 학습된 모델은 비용이 큰 실제 상호작용 데이터가 많이 필요하고 거의 보지 못한 행동 공간 부분에서는 신뢰할 수 없다. 무작위 데이터 수집은 모델을 가장 많이 개선할 밀기를 겨냥하지 않는다.

제안 방법

밀기는 측면, 측방 오프셋, 거리로 파라미터화되며, MLP가 준정적 해석적 밀기 모델과 관측된 SE(2) 결과 사이의 잔차를 학습한다. 인식적(epistemic) 불확실성은 학습된 네트워크를 Neural Tangent Kernel을 갖는 가우시안 프로세스로 취급하여 얻는다. 학습 중에는 수정된 BAIT 획득 함수가 사후 분산을 가장 많이 줄이는 밀기 배치를 고르고, 계획 중에는 SST 기구동역학 플래너가 후보 밀기를 샘플링하여 불확실성이 가장 낮은 것을 남긴다.

핵심 통찰

하나의 불확실성 추정치가 정반대의 두 용도에 쓰인다. 무엇을 연습할지 고를 때는 높은 불확실성을 찾고, 무엇을 실행할지 고를 때는 이를 피한다
대략적인 해석적 밀기 모델을 잔차 사전 모델로 추가하면 데이터가 적을 때 가장 큰 도움이 된다
SST의 제어 샘플링을 불확실성이 낮은 밀기 쪽으로 편향시키면, 잘못 모델링된 행동을 피하면서도 플래너의 점근적 최적성이 유지된다
능동 계획을 사용하면 플래너가 모델이 더 안전하다고 판단하는 더 긴 경로를 고르는 경향이 있다

주요 결과

가장 잘 학습된 모델로 능동 계획을 하면 Push-to-Grasp 성공률이 시뮬레이션에서 최대 95%, 실제 세계에서 85%까지 올랐고, 무작위 제어 샘플링에 비해 추종 오차가 줄었다
능동 학습을 적용한 잔차 모델은 배치 크기 20에서 시뮬레이션 YCB 물체 4개(크래커 상자, 머그잔, 머스터드 병, 바나나)와 실제 크래커 상자에 대해 무작위 데이터 수집보다 낮은 검증 SE(2) RMSE를 보였다
시뮬레이션의 계획 문제 100개에서, 잔차 능동 학습은 모든 데이터셋 크기에서 MLP 및 무작위 샘플링 기준선보다 높은 과제 성공률과 낮은 추종 오차를 보였다
설정: 후보 밀기 파라미터 1,000개의 풀, 검증용 밀기 800개, 배치 크기 20(시뮬레이션) 또는 40(실제), 데이터 수집을 위한 병렬 Genesis 환경 1000개

한계

인식적 불확실성만 모델링하고 우연적(aleatoric) 잡음은 무시하므로, 플래너가 잡음이 적은 영역을 피하거나 본질적으로 잡음이 큰 밀기에 지나치게 의존할 수 있다
과제와 물체는 SE(2)에서의 평면 밀기로 제한된다. 비볼록 물체, 관절형 물체, 3D 밀기, 굴리기, 던지기는 다루지 않는다
계획은 피드백이나 재계획 없이 개루프로 실행된다
해석적 모델은 모든 물체를 바운딩 직사각형으로 근사하고, 모든 물체에 대해 마찰 비를 c = 0.05로 고정하며, 고착 접촉을 가정한다
결과는 그림의 곡선으로 보고되며, 최고 성공률 95%와 85%를 제외하면 정확한 수치가 거의 제시되지 않는다

분야에 미친 영향

ICRA 2026 Best Paper Award on Planning and Control 최종 후보, 인용 9회. 논문은 코드나 데이터 공개를 명시하지 않는다.

초록

학습된 동역학 모델을 이용한 계획은 실제 세계의 장기 조작, 특히 정확한 해석적 모델을 얻기 어려운 밀기나 굴리기 같은 비파지(nonprehensile) 환경에서 유망한 접근법이다. 학습 기반 방법은 가능성이 있지만, 학습 데이터 수집은 반드시 가장 유익하다고 할 수 없는 무작위 샘플링된 상호작용에 의존하는 경우가 많아 비용이 많이 들고 비효율적일 수 있다. 이 문제를 해결하기 위해, 우리는 잔차 물리(residual-physics) 모델링과 커널 기반의 불확실성 주도 능동 학습을 결합하여 가장 유익한 기술 파라미터에 데이터 수집을 집중하는 새로운 프레임워크인 ActivePusher를 제안한다. 또한 ActivePusher는 모델 기반 기구동역학(kinodynamic) 플래너와 매끄럽게 통합되어, 불확실성 추정치를 활용해 제어 샘플링을 더 신뢰할 수 있는 행동 쪽으로 편향시킨다. 우리는 시뮬레이션과 실제 환경 모두에서 접근법을 평가하고, 기준 방법 대비 데이터 효율과 계획 성공률이 향상됨을 보인다.

링크

arXiv 2506.04646: https://arxiv.org/abs/2506.04646
DOI 10.1109/ICRA57385.2026.11696785: https://doi.org/10.1109/ICRA57385.2026.11696785
PDF: https://arxiv.org/pdf/2506.04646v1