Sim-to-Real of Soft Robots With Learned Residual Physics

저자: Junpeng Gao, Mike Y. Michelis, Andrew Spielberg, Robert K. Katzschmann · IEEE Robotics and Automation Letters (RA-L) 2024

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

희소한 모캡 마커로부터 미분 가능한 FEM 소프트 로봇 시뮬레이션 위에 잔차 체적력을 학습하며, 마커 오차가 시스템 식별보다 60.3%(빔), 31.9%(공압 팔) 낮아진다.

중요한 이유

소프트 로봇은 모델링하기 어려워, 이를 대상으로 한 모델 기반 제어와 설계 작업이 제한된다. 이 방법은 거친 해석적 시뮬레이터를 물리적 사전 지식으로 유지하고 오차만 학습하며, 실제 로봇에서 전체 상태 감지 대신 희소한 모션 캡처 마커만 필요로 한다. 또한 저자들은 최적은 아니지만 강성 문제가 없고 더 빨리 풀리는 파라미터를 유지하면서도, 시스템 식별 파라미터를 쓴 더 느린 시뮬레이션보다 현실에 더 가깝게 맞출 수 있었다.

문제

소프트 로봇 시뮬레이터는 강성, 밀도, 푸아송비(Poisson's ratio) 등 조정 가능한 파라미터를 몇 개만 제공하므로, 시스템 식별로는 잘못된 재료 모델, 거친 이산화, 제작 결함, 점탄성 또는 히스테리시스로 인한 오차를 고칠 수 없다. 기존 잔차 물리 방법은 저차원 상태 공간에 대해서만 보정을 학습했고 소프트 바디 메시의 약 10^3 자유도에 대해서는 그렇지 못했으며, 실제 로봇은 소수의 모션 마커를 통해서만 관측할 수 있다.

제안 방법

이 방법은 미분 가능한 FEM 시뮬레이터 DiffPD를 실행하고, 기록된 각 시간 스텝마다 기울기 기반 최적화(L-BFGS-B)를 사용해 시뮬레이션의 마커 위치가 측정값과 일치하도록 하는 모든 메시 노드의 외력을 찾는다. 이렇게 최적화된 힘이 보강된 데이터셋을 이루며, 스킵 연결을 가진 MLP가 이 데이터셋으로 현재 위치, 속도, 구동력으로부터 잔차 힘을 예측하도록 학습된다. 실행 시에는 자기회귀 롤아웃에서 네트워크의 힘이 각 시뮬레이터 스텝에 더해진다.

핵심 통찰

• 메시 전체에 가해지는 단일 잔차 체적력은 파라미터 조정으로는 닿을 수 없는, 잘못된 재료 모델과 압축성 가정에서 오는 오차를 흡수할 수 있다.
• 문제를 미분 가능한 시뮬레이터를 통한 스텝별 힘 최적화와 그 힘에 대한 지도 학습으로 나누면, 희소한 마커 데이터가 조밀한 학습 레이블로 바뀐다.
• 시뮬레이션에서는 약 4개의 마커로 전체 상태 복원 오차의 중앙값이 0.1 mm 미만이 되기에 충분했지만, 마커가 10개가 될 때까지 편차는 높게 유지되었다.
• 실제 빔에 대한 시스템 식별은 영률 810 kPa로 수렴했는데, 이는 제조사 값 215 kPa와 크게 달라, 최적 적합 파라미터가 모델링되지 않은 효과를 보상하고 있었음을 보여 준다.

주요 결과

• Sim-to-sim 빔: 평균 롤아웃 오차가 4.49 ± 1.47 mm에서 0.08 ± 0.28 mm(진동), 4.36 ± 1.54 mm에서 0.03 ± 0.07 mm(비틀림)로 떨어졌다.
• Sim-to-real 실리콘 빔: 평균 마커 오차 5.46 ± 1.78 mm(원래), 1.32 ± 1.38 mm(시스템 식별), 0.52 ± 0.48 mm(잔차 물리)로, 시스템 식별 대비 60.3% 감소했다.
• Sim-to-real SoPrA 공압 팔: 7.77 ± 3.72 mm(원래), 7.57 ± 3.59 mm(시스템 식별), 5.15 ± 2.67 mm(잔차 물리)로, 31.9% 감소했다.
• 빔 궤적당 실행 시간: 원래 파라미터 0.711 s, 시스템 식별 파라미터 2.218 s(약 3.12× 느림), 잔차 물리 1.393 s(약 1.96×). 네트워크 추론에는 0.112 s가 걸렸다.
• 각 팔 궤적의 처음 5 s로 학습하고 10 s까지 롤아웃했을 때, 잔차 물리는 6.10 ± 3.22 mm, 시스템 식별은 7.57 ± 3.59 mm에 도달했다.

한계

• 학습 세트를 구축하려면 전처리 단계에서 계산 비용이 큰 스텝별 최적화가 필요하다.
• 학습된 동역학은 분포 밖 데이터로 일반화되지 않는다. 팔에서 학습 시 구동 압력의 1.75×에서는 일반화가 나빠졌다.
• 긴 자기회귀 롤아웃에서는 오차가 누적되며, 접촉 상호작용은 다루지 않는다.
• 각 네트워크는 하나의 로봇 형상에 대해 학습된다. 여러 소프트 로봇 형태에 걸친 하나의 네트워크는 향후 과제로 남는다.
• 섬유 보강재가 시뮬레이터에서 모델링되지 않기 때문에 팔의 압력은 20 kPa로 제한되었으며, 주입된 힘이 수치적 강성을 더해 하이브리드 시뮬레이션이 기본 시뮬레이션보다 느려진다.

분야에 미친 영향

이 논문은 RA-L 2025 Best Paper Award를 수상했으며 인용 수는 54회이다. 라이선스된 사본에는 코드, 데이터 또는 하드웨어 공개가 명시되어 있지 않다.

초록

시뮬레이션에서 소프트 로봇을 정확하게 모델링하는 일은 계산 비용이 크고, 흔히 실제 세계를 제대로 표현하지 못한다. sim-to-real 격차로 알려진 이 잘 알려진 불일치는 거칠게 근사한 형상 및 재료 모델, 제조 결함, 점탄성과 소성, 히스테리시스 효과 등 여러 원인에서 비롯될 수 있다. 잔차 물리 네트워크는 실제 데이터로부터 학습하여 불일치하는 모델을 보강하고 현실에 더 가깝게 만든다. 여기서 우리는 자유도가 큰 소프트 로봇을 모델링하기 위한 잔차 물리 방법을 제시한다. 우리는 신경망이 잔차 항, 즉 시뮬레이션 시스템과 물리 시스템 사이의 모델링 오차를 학습하도록 훈련한다. 구체적으로 잔차 항은 시뮬레이션 메시 전체에 가해지는 힘이며, 실제 위치 데이터는 희소한 모션 마커만으로 수집된다. 해석적 시뮬레이션의 물리적 사전 지식이 잔차 네트워크의 출발점을 제공하므로, 결합된 모델은 물리를 백지 상태(tabula rasa)에서 학습할 때보다 더 많은 정보를 담는다. 우리는 1) 실리콘 엘라스토머 빔과 2) 모델링하기 어려운 이방성 섬유 보강재를 가진 소프트 공압 팔에서 방법을 시연한다. 우리 방법은 전통적인 시스템 식별보다 최대 60% 뛰어나다. 우리는 잔차 물리가 낮은 자유도에 국한될 필요가 없으며 고차원 시스템에서도 sim-to-real 격차를 효과적으로 메울 수 있음을 보인다.

링크

• arXiv 2402.01086: https://arxiv.org/abs/2402.01086
• DOI 10.1109/LRA.2024.3446287: https://doi.org/10.1109/LRA.2024.3446287
• PDF: https://arxiv.org/pdf/2402.01086v1