An Online Learning Approach to Model Predictive Control

저자: Nolan Wagener, Ching-An Cheng, Jacob Sacks, Byron Boots · RSS 2019

라이선스

오픈 액세스
논문: CC0 1.0 Universal

아래 내용은 모두 저자들이 CC0 1.0 Universal로 공개한 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

MPC를 온라인 학습으로 보면 MPPI와 CEM을 포함하는 계열인 DMD-MPC가 나오며, 이는 이들의 스텝 크기를 조정 손잡이로 드러내고 1:5 축척 AutoRally 차량에서 실행된다.

중요한 이유

이 틀은 MPC 설계를 손실, 제어 분포, 발산(divergence)을 선택하는 문제로 바꾸고, 스텝 크기를 명시적인 파라미터로 만든다. 시뮬레이션 AutoRally 스윕에서 더 작은 스텝 크기는 훨씬 적은 샘플로도 제어기가 성능의 대부분을 유지하게 했으며, 저자들은 이를 많은 롤아웃을 뽑을 수 없는 임베디드 시스템에 유용하다고 언급한다.

문제

MPPI와 교차 엔트로피 방법 같은 MPC 알고리즘은 서로 다른 가정과 휴리스틱에서 유도되었으므로, 이를 설계하거나 조정하기 위한 공통된 방법이 없다. 이들의 업데이트 규칙은 스텝 크기 1과 같이 반드시 최적이라고 할 수 없는 설계 선택을 고정하는데, 이는 계산 자원이 샘플링할 수 있는 롤아웃 수를 제한할 때 중요해진다.

제안 방법

저자들은 MPC를 온라인 학습에 대응시킨다. 각 제어 스텝은 하나의 라운드이고, 결정은 제어 분포의 파라미터이며, 라운드별 손실은 현재 상태에서의 MPC 목적 함수이다. MPC 시프트 연산자를 예측 모델로 삼아 동적 거울 하강을 적용하면 DMD-MPC가 나오며, 이는 세 가지 선택으로 정의되는 계열이다. 손실(기대 비용, 저비용 확률, 지수 효용), 제어 분포(예: 가우시안, 범주형, 라플라스), 그리고 Bregman 발산이다. MPPI와 CEM은 스텝 크기 1인 특수한 경우로 복원된다.

핵심 통찰

이동된 이전 해로 MPC를 웜 스타트하는 것은 동적 거울 하강에서 예측 모델의 역할을 하며, 동적 후회(dynamic regret)는 계획이 MPC 목적 함수와 얼마나 일관되게 유지되는지를 측정한다.
MPPI는 지수 효용 손실에서, CEM은 저비용 확률 손실에서 나오며, 둘 다 스텝 크기가 1이다. 스텝 크기는 원래 알고리즘이 고정해 두는 자유 파라미터이다.
지수족 제어 분포의 경우, 업데이트는 이전 기댓값 파라미터와 효용 가중 충분 통계량의 볼록 결합이다.
효용 기반 손실은 고비용 롤아웃에 거의 0에 가까운 가중치를 준다. 단순한 기대 비용 손실을 쓰면 트랙을 벗어나는 롤아웃이 기울기 추정을 지배해, 차량이 느리게 달리거나 벽에 부딪혔다.
이산 제어는 범주형 분포와 지수화 기울기(exponentiated-gradient) 업데이트로 처리되며, 비용은 지시 함수처럼 불연속일 수 있다.

주요 결과

편향된 모델(실제 0.326 m 대비 모델의 막대 0.346 m)을 사용한 시뮬레이션 카트폴: 연속 제어에서 1보다 큰 스텝 크기는 넓은 범위의 효용 파라미터에 걸쳐 MPPI와 CEM에서 쓰는 스텝 크기 1보다 상당한 이득을 주었다.
시뮬레이션 AutoRally: 기울기당 1920 샘플을 넘으면 이득이 작았고, 적절한 스텝 크기에서 192 샘플은 스텝 크기 1의 3840 샘플과 몇 초 이내의 랩 타임을 냈다.
기대 비용 손실을 쓴 시뮬레이션 AutoRally: 3840 샘플로도 성능이 극적으로 나빴으며, 기껏해야 차량이 4 m/s 미만으로 트랙 중앙에 머무는 정도였다.
실제 AutoRally, 1920 샘플: 목표 13 m/s에서 랩 타임 9.71 ± 0.17 s(가우시안, 스텝 1, 즉 MPPI), 9.76 ± 0.14 s(가우시안, 스텝 0.9), 10.03 ± 0.16 s(라플라스, 스텝 0.9). 7 m/s에서는 10.49 ± 0.08, 10.66 ± 0.09, 10.91 ± 0.14 s.
실제 AutoRally, 목표 12 m/s, 두 번째 세트: 1920 샘플에서 스텝 0.8은 10.70 ± 0.19 s로 스텝 1의 10.90 ± 0.16 s와 비교되며, 192 샘플에서는 스텝 0.8과 0.6이 모두 10.97 s로 스텝 1의 11.10 ± 0.17 s와 비교된다.

한계

작은 동적 후회가 좋은 절대적 제어 성능을 뜻하지는 않는다. 이는 계획이 선택된 MPC 목적 함수와 일관된다는 의미일 뿐이다.
두 실제 세계 실험 세트는 서로 다른 조건(두 번째는 최고 속도를 제한한 열악한 트랙)에서 수행되어 서로 비교할 수 없다. 스텝 크기 0.6에서의 1920 샘플은 시간 부족으로 시험하지 않았다.
샘플이 적고 스텝 크기가 클 때(64 샘플, 스텝 1) 시뮬레이션 차량은 느리고 불규칙하게 주행했으며 때로는 멈췄다.
실제 차량에서 새로운 변형들은 MPPI보다 낫다기보다 비슷한 성능을 보였다. 첫 번째 세트에서는 MPPI(가우시안, 스텝 1)가 두 속도 목표 모두에서 가장 짧은 랩 타임을 기록했다.
AutoRally 동역학 모델은 인간 주행 데이터에 맞춘 결정론적 신경망이며, 실제 세계 주행에서는 제어 분포의 평균만 최적화되었다.

분야에 미친 영향

RSS 2019 Best Student Paper Award를 수상했고 RSS 2019 Best Systems Paper Award 최종 후보에 올랐으며, 인용 86회. 논문은 코드나 데이터 링크를 제공하지 않는다.

초록

모델 예측 제어(MPC)는 동적 제어 과제를 해결하기 위한 강력한 기법이다. 본 논문에서 우리는 MPC와, 최적화 문헌에서 온라인 의사 결정을 분석하기 위한 추상적 이론 틀인 온라인 학습 사이에 밀접한 연관이 있음을 보인다. 이 새로운 관점은 강력한 온라인 학습 알고리즘을 활용해 MPC 알고리즘을 설계하기 위한 토대를 제공한다. 구체적으로, 우리는 비정상(non-stationary) 환경을 위해 설계된 온라인 학습 알고리즘인 동적 거울 하강(DMD)에 기반한 새로운 알고리즘을 제안한다. 우리의 알고리즘인 Dynamic Mirror Decent Model Predictive Control(DMD-MPC)은 기존의 많은 기법을 특수한 사례로 포함하는 일반적인 MPC 알고리즘 계열을 나타낸다. DMD-MPC는 또한 MPC에서 사용되어 온 기존 휴리스틱에 대한 새로운 관점을 제공하고, 새로운 MPC 알고리즘을 설계하는 원칙적인 방법을 제시한다. 본 논문의 실험 절에서는 단순한 시뮬레이션 카트폴과, 시뮬레이션 및 실제 세계의 공격적 주행 과제에서 일련의 새로운 MPC 알고리즘을 제시하여 DMD-MPC의 유연성을 보여준다.

링크

arXiv 1902.08967: https://arxiv.org/abs/1902.08967
DOI 10.48550/arXiv.1902.08967: https://doi.org/10.48550/arXiv.1902.08967
PDF: https://arxiv.org/pdf/1902.08967v1