LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models

저자: Chan Hee Song, Jiaman Wu, Clayton Washington, Brian M. Sadler, Wei-Lun Chao, Yu Su · ICCV 2023

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

검색된 예제와 물체에 근거한 재계획을 사용하는 GPT-3가 레이블이 있는 예제 100개로 ALFRED의 고수준 계획을 작성하며, 21,023개로 학습한 HLSM에 근접한다.

중요한 이유

이 플래너는 호스트 에이전트에게 물체 목록과 저수준 플래너만 요구하고 파라미터 업데이트가 필요 없으므로 기존 계층형 에이전트에 붙일 수 있다. 근거는 실제 장면 정보가 아니라 사전 학습된 물체 검출기에서 오며, 언어 모델의 상식이 고수준 플래너에 보통 필요한 쌍으로 된 언어 데이터의 대부분을 대신한다.

문제

체화된 지시 수행 에이전트는 작업 유형당 수천 개의 ALFRED 예제처럼 대량의 (지시, 궤적) 쌍 데이터로 학습하는데, 이는 수집 비용이 크다. 계층형 에이전트에서 언어와 쌍을 이루는 데이터가 필요한 것은 고수준 플래너뿐이지만, 여전히 그 양이 많이 필요하다. 100개 예제로 다시 학습시키면 HLSM과 FILM 플래너는 어떤 작업도 거의 완수하지 못한다.

제안 방법

LLM-Planner는 GPT-3에 프롬프트를 주어 'Navigation fridge, OpenObject fridge' 같은 하위 목표의 시퀀스인 고수준 계획을 작성하게 하며, BERT 임베딩 최근접 이웃 검색기가 100개의 학습 쌍에서 고른 9개의 문맥 내 예제를 사용하고, 로짓 편향으로 출력이 허용된 행동과 물체 쪽으로 향하게 한다. 하위 목표가 실패하거나 너무 많은 스텝이 걸리면 이미 완료된 하위 목표와 에이전트의 검출기가 본 물체를 넣어 모델에 다시 프롬프트를 주며, HLSM의 저수준 플래너가 각 하위 목표를 기본 행동으로 변환한다.

핵심 통찰

• 언어와 쌍을 이루는 데이터가 필요한 것은 고수준 플래너뿐이며, 저수준 플래너는 시뮬레이터에서 합성한 데이터로 학습할 수 있으므로 퓨샷 학습은 플래너만을 대상으로 한다.
• 문맥 내 예제를 동적으로 검색하는 것이 가장 중요하다. kNN 검색기를 무작위 선택으로 바꾸면 LOOCV 고수준 계획 정확도가 40.59%에서 17.48%로 떨어진다.
• 관측된 물체를 프롬프트에 추가하면 언어 모델이 이름을 장면에 있는 것에 대응시키고(recycle bin을 garbage can으로, lamp를 desk lamp로), 물체가 있을 법한 위치를 추측할 수 있다(냉장고 안의 감자, 찬장 안의 컵).
• 프롬프트 형식과 하이퍼파라미터는 별도의 검증 세트 없이 같은 100개 예제에 대한 단일 제외 교차 검증으로 선택되었다(진정한 퓨샷 설정).
• 엔드투엔드 실패는 계획보다는 저수준 스택에서 비롯되는 경우가 많다. Heat & Place는 계획 정확도 36%에 도달하지만 HLSM의 검출기가 전자레인지를 자주 놓치기 때문에 성공률은 1.8%이다.

주요 결과

• 목표 지시와 단계별 지시를 함께 쓰면 LLM-Planner + HLSM은 학습 쌍 100개로 ALFRED valid unseen에서 15.36%, test unseen에서 16.42%의 성공률에 도달한다.
• 같은 100개 쌍으로 다시 학습시킨 HLSM과 FILM은 valid unseen에서 0.00%, test unseen에서 0.61%와 0.20%의 성공률을 기록한다.
• 21,023개 쌍 전체로 학습한 HLSM(목표 지시만 사용)은 valid unseen에서 18.28%, test unseen에서 20.27%를 기록한다. test unseen에서 LLM-Planner의 16.42%는 전체 데이터를 쓴 E.T.(8.57%), HiTUT(13.87%), M-TRACK(16.29%)보다 높다.
• 근거 기반 재계획은 모든 설정에서 정적 계획보다 우수하며, 목표 지시만 쓸 때 test unseen 성공률을 1.83 포인트 높인다(11.58%에서 13.41%로).
• LOOCV 계획 정확도 제거 실험: 전체 모델 40.59%, kNN 검색기 제외 17.48%, 로짓 편향 제외 38.10%, 둘 다 제외 13.43%.
• 계획 정확도는 학습 예제가 많을수록 높아지며 약 250개 부근에서 수확 체감이 나타나고, 문맥 내 예제는 9개가 대체로 좋은 선택이다.

한계

• 저자들은 개선의 여지가 여전히 크다고 지적한다. 엔드투엔드 성공률은 test unseen 성공률 27.80%의 FILM 같은 최고의 전체 데이터 방법보다 아직 한참 낮다.
• 성공률은 LLM-Planner가 변경 없이 재사용하는 HLSM의 저수준 플래너와 물체 검출기에 의해 제한된다.
• 오라클 저수준 제어기를 사용할 수 없었기 때문에 동적 설정에서의 계획 정확도는 범위로만 제시할 수 있다(예: valid unseen에서 46.59–68.31%).
• 시뮬레이션(AI2-THOR 위의 ALFRED)에서만 평가되었으며 실제 로봇 실험은 없다.
• GPT-3 API에 의존한다. Codex 같은 다른 언어 모델, 더 나은 프롬프트 설계, 더 강력한 근거 부여와 재계획은 향후 과제로 남는다.

분야에 미친 영향

이 논문의 인용 수는 583회이다. 라이선스가 부여된 버전에서는 코드나 데이터를 공개하지 않으며, 공개된 GPT-3 API와 공식 HLSM 및 FILM 코드베이스를 재사용한다.

초록

이 연구는 시각적으로 인식되는 환경에서 자연어 지시를 따라 복잡한 작업을 완수할 수 있는 체화 에이전트에 초점을 맞춘다. 기존 방법은 좋은 정책을 학습하기 위해 대량의 (지시, 정답 궤적) 쌍에 의존한다. 높은 데이터 비용과 낮은 샘플 효율은 많은 작업을 수행하고 새 작업을 빠르게 학습할 수 있는 다재다능한 에이전트의 개발을 가로막는다. 이 연구에서 우리는 GPT-3 같은 대규모 언어 모델(LLM)의 능력을 활용해 체화 에이전트를 위한 퓨샷 계획을 수행하는 새로운 방법인 LLM-Planner를 제안한다. 또한 현재 환경에 근거한 계획을 생성하도록 LLM에 물리적 근거(grounding)를 더하는 간단하지만 효과적인 방법을 제안한다. ALFRED 데이터셋에서의 실험은 우리 방법이 쌍으로 된 학습 데이터를 0.5% 미만만 사용하면서도 매우 경쟁력 있는 퓨샷 성능을 달성할 수 있으며, 전체 학습 데이터로 학습한 최근의 여러 기준선보다도 뛰어남을 보여준다. 기존 방법은 같은 퓨샷 설정에서 어떤 작업도 거의 성공적으로 완수하지 못한다. 우리 연구는 많은 작업을 빠르게 학습할 수 있는 다재다능하고 샘플 효율적인 체화 에이전트 개발의 문을 연다.

링크

• arXiv 2212.04088: https://arxiv.org/abs/2212.04088
• DOI https://doi.org/10.1109/iccv51070.2023.00280: https://doi.org/https://doi.org/10.1109/iccv51070.2023.00280
• PDF: https://arxiv.org/pdf/2212.04088v1