Parameterized Differential Dynamic Programming

저자: Alex Oshin, Matthew D. Houghton, Michael J. Acheson, Irene M. Gregory, Evangelos A. Theodorou · RSS 2022

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

PDDP는 DDP에 시불변 파라미터를 추가하여 제어 입력과 파라미터가 함께 2차 업데이트를 받도록 하며, MPC에서의 온라인 모델 식별과 비행 모드 전환 시점 결정에 사용된다.

중요한 이유

하나의 2차 솔버로 시스템을 제어하면서 동시에 모델 파라미터를 온라인으로 식별할 수 있고, 하이브리드 시스템이 각 모드에 머무는 시간도 정할 수 있다. 논문은 저자들이 아는 한 전환 시점 최적화를 비행 영역 간 전이 계획에 처음으로 사용한 사례라고 보고하며, 이를 NASA의 Lift+Cruise VTOL 개념에 적용했다.

문제

많은 로봇 계획 문제에는 탑재물 질량이나 하이브리드 시스템이 각 모드에서 보내는 시간처럼, 알려지지 않았거나 조정 가능한 시불변 파라미터가 포함된다. 기존의 DDP 기반 접근법은 이런 파라미터를 궤적의 초기 조건을 통해 업데이트했는데, 이는 공칭 궤적 전체를 이동시켜 수렴을 해친다. 또한 하이브리드 시스템의 궤적 최적화는 주로 축약 모델을 쓰는 보행 로봇을 대상으로 했으며, 호버, 전이, 순항 사이를 전환하는 도심 항공 모빌리티 비행체 같은 항공기에 대한 연구는 거의 없었다.

제안 방법

저자들은 파라미터가 동역학과 비용 모두에 들어가는 일반적인 최적 제어 목적 함수를 세우고 Parameterized DDP를 유도한다. 역방향 패스에서 가치 함수를 상태와 파라미터에 대해 전개하여 제어 이득, 파라미터 피드포워드 업데이트, 그리고 파라미터가 바뀔 때 제어 입력을 안정적으로 유지하는 피드백 항을 얻는다. 선 탐색 조건과 정규화 하에서 임의의 초기화로부터 정류점으로 수렴함을 증명하고, 제어 입력과 파라미터를 동시에, 번갈아, 또는 제어 입력이 수렴한 뒤에만(STO-DDP) 업데이트하는 방식을 비교한다. 같은 알고리즘을 MPC와 함께 실행되는 이동 구간 추정에, 그리고 모드당 스텝 수를 고정하고 하위 스텝 적분과 시간 스케일을 음이 아닌 값으로 유지하는 투영 뉴턴 솔버를 쓰는 전환 시점 최적화에 적용한다.

핵심 통찰

• 파라미터를 초기 상태를 통해 다루는 대신 동역학과 비용 안에서 명시적으로 다루면, 파라미터가 어떻게 정의되든 제어 입력과 파라미터에 대한 2차 공동 업데이트를 얻을 수 있다.
• 제어 업데이트와 파라미터 업데이트를 번갈아 수행하는 방식이 둘을 한꺼번에 업데이트하거나 제어 입력이 수렴할 때까지 기다리는 방식보다 지역 최솟값을 더 잘 벗어났다.
• 이동 구간 추정을 MPC와 결합하면 제어기가 크게 틀린 모델을 몇 스텝 안에 바로잡은 뒤 목표에 도달할 수 있다.
• 전환 시점 문제에서는 모드당 타임스텝 수를 일정하게 유지하고 더 작은 하위 스텝으로 적분하면 수렴 특성이 유지되고 수치적 실패를 피할 수 있다.

주요 결과

• 쿼드로터 MHE+MPC: 질량과 관성 추정값이 초기 추정 1 kg 및 1 kg·m²에서 15 MHE 스텝(실행 시간 0.2 s 미만) 안에 참값 0.468 kg 및 4.856×10⁻³ / 8.801×10⁻³ kg·m²에 도달했고, 이후 비행체는 총 3 s 만에 목표에 도달했다.
• Ant 4족 로봇(Brax 물리 엔진, 117차원 상태): 다리 길이가 1.0 m와 2.0 m에서 4 MHE 스텝 안에 참값 0.443 m와 0.726 m에 도달했다.
• 카트폴: 막대가 움직이기 시작한 뒤 50 스텝 안에 막대 질량이 올바르게 추정되었으며(초기값 2 kg에서 참값 0.5 kg), 처음 15 스텝 동안에는 진전이 거의 없었다.
• 다중 목표 카트폴 전환 시점 작업, 무작위 초기화 1000회: 교대 방식은 동시 방식과 STO-DDP보다 평균적으로 약 0.5 자릿수 낮은 비용에 도달했다.
• NASA Lift+Cruise(초기화 500회): 시간 최적 수직 이륙에 5.63 s, 이어서 순항 속도 도달까지 9.79 s가 걸렸고, 역방향 기동에서는 500 ft 이내에서 6.87 s 만에 순항에서 호버로 감속한 뒤 4.87 s 만에 착륙했다.
• CPU 전용 MATLAB 구현은 Intel i7-9850H에서 Lift+Cruise 작업에 반복당 약 1.5 s, 다른 작업에서는 반복당 1 s 미만이 걸렸다.

한계

• 저자들은 실행 시간이 MPC로서는 꽤 느리다고(Lift+Cruise 작업에서 반복당 약 1.5 s) 말하며, 실시간 사용을 위해서는 더 나은 병렬화가 필요하다고 한다.
• 동시 방식은 초기 제어 궤적에 크게 의존하며(표준 DDP 5회 반복으로 웜 스타트함), 쿼드로터와 Lift+Cruise 작업에서 좋지 않은 해에 빠졌다.
• Lift+Cruise 작업에서 교대 방식은 제어 입력이 아직 좋지 않았던 처음 50회 반복 동안 STO-DDP에 뒤처졌다.
• 이 방법은 전체 상태 관측 가능성과, 상태·제어 입력·파라미터에 대해 두 번 미분 가능한 동역학과 비용을 가정하며, 수렴은 헤세 행렬을 양의 정부호로 유지하기 위한 정규화에 의존한다.
• 모든 실험은 시뮬레이션에서 이루어졌으며 하드웨어 실험은 보고되지 않았다.

분야에 미친 영향

이 논문은 RSS 2022 최우수 학생 논문상 최종 후보였다. 코드나 데이터 공개는 언급하지 않는다.

초록

미분 동적 계획법(Differential Dynamic Programming, DDP)은 시스템의 동역학과 비용 함수에 대한 2차 근사에 기반한 효율적인 궤적 최적화 알고리즘으로, 최근에는 시불변 파라미터를 가진 시스템의 최적화에도 적용되었다. 선행 연구로는 시스템 파라미터 추정과, 하이브리드 동적 시스템의 모드 간 최적 전환 시점 식별이 있다. 본 논문은 일반적인 파라미터화된 최적 제어 목적 함수를 제안하고 DDP의 파라메트릭 버전인 Parameterized Differential Dynamic Programming(PDDP)을 유도함으로써 기존 연구를 일반화한다. 알고리즘에 대한 엄밀한 수렴성 분석을 제시하며, PDDP가 초기화와 관계없이 비용의 최솟값으로 수렴함을 보인다. 지역 최솟값을 더 효과적으로 벗어나기 위해 최적화 방식을 달리했을 때의 효과를 분석한다. 여러 로봇 시스템에 PDDP를 적용하여 모델 예측 제어(MPC)와 이동 구간 추정(MHE) 작업을 동시에 푸는 실험을 제시한다. 마지막으로, 여러 비행 단계를 보이는 복잡한 도심 항공 모빌리티(UAM)급 비행체에서 비행 영역 간 최적 전환 지점을 결정하는 데 PDDP를 사용한다.

링크

• arXiv 2204.03727: https://arxiv.org/abs/2204.03727
• PDF: https://arxiv.org/pdf/2204.03727v1