Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

저자: Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar · CoRL 2023

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

KnowNo는 LLM 계획을 객관식 문제로 바꾸고 컨포멀 예측을 적용하여, 사용자가 정한 성공 수준에서 둘 이상의 선택지가 남을 때에만 로봇이 도움을 요청하게 한다.

중요한 이유

사용자가 목표 성공 수준 1−ϵ를 정하면, 이 방법은 사람의 도움이 정확하다는 가정 하에 높은 확률로 그 수준의 작업 완료를 보장하면서 평균 예측 집합을 작게 유지한다. 미세 조정 없이 기성 LLM과 함께 작동하며, 커버리지 보장은 LLM의 신뢰도가 잘 보정되어 있든 아니든 성립한다.

문제

LLM 계획기는 확신에 차서 환각을 일으킬 수 있고 자연어 지시는 종종 모호하므로, 잘못된 계획을 따르는 로봇은 예컨대 금속 그릇을 전자레인지에 넣는 것처럼 위험하게 행동할 수 있다. 이전의 LLM 계획기는 확인을 전혀 구하지 않거나 광범위한 프롬프팅에 의존하며, 도움 요청이 원하는 수준의 작업 성공으로 이어지도록 보장하는 방법을 제공하는 것은 없다.

제안 방법

LLM은 먼저 A–D로 표시된 다음 단계 후보를 생성하고, 'E) 여기에 없는 선택지'라는 선택지가 덧붙여진 뒤, LLM이 다음 토큰 확률을 통해 이 선택지들을 객관식 문제로서 점수 매긴다. 400개의 i.i.d. 시나리오로 보정한 컨포멀 예측이 신뢰도 임계값을 정하고, 이를 넘는 선택지들이 예측 집합을 이루며, 로봇은 남은 선택지가 하나이면 그것을 실행하고 그렇지 않으면 사람에게 선택을 요청한다. 시퀀스 수준 보정은 보장을 다단계 계획으로 확장하고, 추가 확장은 허용 가능한 선택지가 여러 개인 단계를 처리한다.

핵심 통찰

계획을 객관식 Q&A로 바꾸면 원시 시퀀스 확률의 길이 편향이 제거된다; 원시 점수나 퍼플렉시티로 정규화한 문장 점수에 컨포멀 예측을 적용하면, 세 가지 시뮬레이션 모호성 설정 모두에서 예측 집합이 더 커지고 도움 요청이 늘었다.
예측 집합에 선택지가 둘 이상 있을 때마다 로봇이 도움을 요청하면, 컨포멀 예측의 커버리지 보장이 작업 완료 보장으로 바뀐다.
단계별 최저 신뢰도로 점수를 매긴 전체 시퀀스에 대해 보정하면, 테스트 시 예측 집합을 단계별로 구성하면서도 전체 계획에 대한 보장을 유지할 수 있다.
이 보장은 LLM의 보정 상태에 대해 아무 가정도 하지 않는다: 선택지 D와 E로 치우친 편향을 보인 GPT-3.5에서도 KnowNo는 사람의 도움을 더 많이 요청함으로써 목표를 달성했다.
앙상블 베이스라인은 적은 도움으로 높은 성공률에 도달할 수 있지만, 추론 시간이 20× 필요하고 때때로 정답 선택지에 0의 확률을 부여한다.

주요 결과

시뮬레이션과 하드웨어 설정 전반에서 KnowNo는 사용자가 지정한 작업 완료 수준을 달성하면서 베이스라인 대비 사람의 도움을 10–24% 줄였다.
PyBullet에서의 시뮬레이션 탁상 재배치(ϵ = 0.15): KnowNo는 속성, 수치, 공간 모호성 전반에서 목표 성공률과의 편차가 가장 작았고, 일부 성공 수준에서 Simple Set보다 최대 24% 적은 도움이 필요했다.
UR5에서의 하드웨어 다단계 분류(ϵ = 0.25, 50회 시행): 작업 성공 0.74, 집합 크기 1.72, 단계별 도움 0.58, 시행별 도움 0.92; 같은 계획 성공 0.76에서 Simple Set은 0.72, 2.04, 0.72, 1.00; No Help는 작업 성공 0.38에 그쳤다.
사무실 주방에서의 하드웨어 모바일 조작(ϵ = 0.15): 계획 성공 0.87, 작업 성공 0.76, 집합 크기 2.22, 도움 비율 0.67; Simple Set은 0.75, 2.38, 0.81; No Help는 계획 성공 0.62, 작업 성공 0.51에 그쳤다.
모든 지시가 모호한 양팔 Kuka IIWA 7 설정(ϵ = 0.15): 도움 92%로 계획 성공 84%; 하드웨어에서 로봇은 10회 중 9회 성공했고 9번 도움을 요청했다.
UR5 작업에서 Simple Set을 같은 ϵ = 0.25로 설정하자 지나치게 보수적이 되어 단계별 도움 비율이 87%에 달했다.

한계

저자들이 밝힌 바: 작업 완료 보장은 환경이 LLM에 입력되는 텍스트에 완전히 반영되어 있고 LLM이 제안하는 행동이 성공적으로 실행된다고 가정한다.
인지와 저수준 정책의 불확실성은 보정에 포함되지 않는다; 모바일 매니퓰레이터에서 저수준 행동 성공률은 약 86%였으며, 이것이 계획 성공과 작업 성공 사이의 차이를 낳았다.
이 방법은 테스트 시나리오와 같은 분포에서 뽑은 i.i.d. 시나리오로 이루어진, 레이블이 달린 보정 집합이 필요하다(400개 사용).
보장은 사람이 정확한 도움을 준다고 가정하며, 정답 선택지가 예측 집합에 없으면 로봇은 실패한다.
GPT-3.5(text-davinci-003)는 객관식에서 강한 위치 편향을 보였고, 이것이 성능을 낮추고 필요한 도움을 늘렸다.

분야에 미친 영향

CoRL 2023 Best Student Paper Award 수상작; 인용 수 515회(제시된 수치 그대로). 공식 프로젝트 페이지는 google-research 저장소의 코드를 링크하며, 논문은 프롬프트를 프로젝트 웹사이트에서 볼 수 있다고 안내한다.

초록

대규모 언어 모델(LLM)은 단계별 계획부터 상식 추론에 이르기까지 로봇에 유용할 수 있는 폭넓고 유망한 능력을 보이지만, 여전히 확신에 찬 환각 예측을 내기 쉽다. 이 연구에서 우리는 LLM 기반 계획기의 불확실성을 측정하고 정렬하여, 자신이 모른다는 것을 알고 필요할 때 도움을 요청하도록 하는 프레임워크 KnowNo를 제시한다. KnowNo는 컨포멀 예측 이론을 기반으로, 복잡한 다단계 계획 환경에서 사람의 도움을 최소화하면서 작업 완료에 대한 통계적 보장을 제공한다. 다양한 모호성 유형(예: 공간적 불확실성에서 수치적 불확실성까지, 사람의 선호에서 Winograd 스키마까지)을 가진 작업을 포함하는 여러 시뮬레이션 및 실제 로봇 환경에서의 실험은, KnowNo가 형식적 보증을 제공하면서도 효율성과 자율성 향상 측면에서 최신 베이스라인(앙상블이나 광범위한 프롬프트 튜닝을 포함할 수 있음)보다 우수함을 보여준다. KnowNo는 모델 미세 조정 없이 LLM에 바로 사용할 수 있으며, 파운데이션 모델의 커지는 능력을 보완하고 함께 확장될 수 있는 유망하고 가벼운 불확실성 모델링 접근법을 제시한다. 웹사이트: https://robot-help.github.io

링크

arXiv 2307.01928: https://arxiv.org/abs/2307.01928
DOI 10.48550/arXiv.2307.01928: https://doi.org/10.48550/arXiv.2307.01928
PDF: https://arxiv.org/pdf/2307.01928v1
코드: https://github.com/google-research/google-research/tree/master/language_model_uncertainty
프로젝트 페이지: https://robot-help.github.io/