VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

저자: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei · CoRL 2023

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

LLM이 비전-언어 검출 결과로부터 3D 어포던스 및 회피 복셀 지도를 채우는 Python 코드를 작성하고, 계획기가 이를 추가 학습 없이 폐루프 6-DoF 궤적으로 바꾼다.

중요한 이유

어떤 구성 요소도 작업을 위해 학습되지 않는다: 언어 모델의 지식이 로봇의 3D 관측 공간에 직접 접지되고 표준 계획기가 이를 사용한다. 계획기가 새 관측으로 재계획하므로, 목표물이 옮겨지거나 로봇이 닫은 서랍이 다시 열리는 것 같은 교란을 실행 중에 견딘다.

문제

LLM 기반 로봇 계획기는 보통 미리 정의된 동작 프리미티브 라이브러리를 호출하며, 대규모 로봇 데이터가 부족하므로 그런 기술을 습득하는 것이 병목이다. LLM은 또한 고주파, 고차원 제어 행동을 텍스트로 직접 출력할 수 없다. 논문은 작업별 데이터 수집이나 수작업 설계 프리미티브 없이, 열린 집합의 지시와 물체에 대해 세밀한 행동 수준에서 LLM 지식을 어떻게 활용할지를 묻는다.

제안 방법

지시와 RGB-D 관측이 주어지면 GPT-4는 인지 API(OWL-ViT 검출, Segment Anything 마스크, XMem 추적)와 NumPy 연산을 호출하는 Python 코드를 생성하여 어포던스, 회피, 엔드 이펙터 회전, 속도, 그리퍼 상태에 대한 100×100×100 복셀 지도를 채운다. 탐욕적 탐색 동작 계획기가 가중된 어포던스 및 회피 지도로 만든 비용 지도 위에서 충돌 없는 엔드 이펙터 경유점을 찾고, 첫 경유점을 실행한 뒤 모델 예측 제어 루프에서 5 Hz로 재계획한다. 접촉이 많은 작업에서는 제로샷 궤적이 탐사를 편향시키는 동안 MLP 동역학 모델을 온라인으로 학습한다.

핵심 통찰

LLM은 원시 제어 행동을 출력하는 데는 서툴지만 어포던스와 제약을 추론하는 데는 능하며, 이를 3D 복셀 지도에 값을 써넣는 코드로 표현할 수 있다.
공동 최적화 하에서 공간 가치 지도를 구성하는 방식은 고정된 프리미티브 목록을 파라미터화하는 LLM(Code as Policies 변형)이나 비용 지도를 예측하도록 학습한 U-Net보다 더 잘 일반화했다.
접촉이 많은 작업에 대한 제로샷 궤적은 의미 있는 경우가 많지만 충분하지는 않다; 이를 탐사 사전 정보로 사용하면 동역학 모델 학습이 실용적이 된다.
시뮬레이션에서 VoxPoser는 비교한 방법 중 명세 오류가 가장 낮았다; 실제 환경에서 대부분의 오류는 인지에서 비롯되었는데, 예를 들어 검출기가 초기 물체 자세와 물체 부품에 민감한 점이다.

주요 결과

실제 환경, 각 10회 시행의 다섯 작업: 정적 장면에서 성공률 88.0%, 교란이 있을 때 70.0%; LLM + 프리미티브는 24.0%와 0.0%.
시뮬레이션(13개 작업, 고유 지시 2766개, 작업당 20 에피소드), 물체 상호작용 / 공간 구성 성공률: 본 지시와 속성에서 64.0% / 77.5%, 보지 못한 속성에서 60.0% / 58.8%, 보지 못한 지시와 속성에서 65.0% / 76.7%.
보지 못한 지시, 보지 못한 속성 설정에서 베이스라인은 0.0% / 0.0%(U-Net + 동작 계획기)와 17.5% / 25.0%(LLM + 프리미티브)에 그쳤다.
접촉이 많은 시뮬레이션 작업: 제로샷 성공률 6.7%(문), 3.3%(창문), 18.3%(냉장고)가 제로샷 사전 정보를 활용한 약 142 s, 137 s, 71 s의 온라인 상호작용 후 88.3%, 80.0%, 91.7%로 올랐다; 사전 정보 없이 탐사하면 12시간 제한을 넘겼다.
실제 장비는 두 대의 Azure Kinect 카메라가 RGB-D를 20 Hz로 스트리밍하는 동안 5 Hz로 재계획한다.

한계

저자들이 밝힌 바: VoxPoser는 외부 인지 모듈에 의존하므로, 전체적인 시각 추론이나 세밀한 물체 기하 이해가 필요한 작업에는 한계가 있다.
저자들이 밝힌 바: 접촉이 많은 작업을 같은 수준의 일반화로 다루려면 여전히 범용 동역학 모델이 필요하다; 실제 물체 중심 작업에는 휴리스틱 평면 밀기 모델과 미리 정의된 밀기 프리미티브를 사용했다.
저자들이 밝힌 바: 동작 계획기는 엔드 이펙터 궤적만 고려하며, 팔 전체 계획이 더 나은 설계일 가능성이 높다.
저자들이 밝힌 바: LLM 프롬프트는 수작업으로 설계된다(언어 모델 프로그램당 예시 질의 5–20개).
대부분의 작업에서 장면은 재계획을 제외하면 정적이라고 가정되며, LLM에 의한 지시의 하위 작업 분해는 깊이 연구되지 않았다.

분야에 미친 영향

인용 수 735회(제시된 수치 그대로). 공식 프로젝트 페이지는 VoxPoser 코드 저장소를 링크하며, 논문은 전체 LLM 프롬프트를 프로젝트 웹사이트에 공개한다.

초록

대규모 언어 모델(LLM)은 추론과 계획의 형태로 로봇 조작에 추출해 쓸 수 있는 풍부한 실행 가능 지식을 갖고 있음이 밝혀졌다. 이러한 진전에도 불구하고, 대부분은 여전히 환경과의 물리적 상호작용을 수행하기 위해 미리 정의된 동작 프리미티브에 의존하며, 이는 주요 병목으로 남아 있다. 이 연구에서 우리는 열린 집합의 지시와 열린 집합의 물체가 주어졌을 때, 매우 다양한 조작 작업에 대해 로봇 궤적, 즉 6-DoF 엔드 이펙터 경유점의 조밀한 시퀀스를 합성하는 것을 목표로 한다. 우리는 먼저 LLM이 자유 형식의 언어 지시가 주어졌을 때 어포던스와 제약을 추론하는 데 뛰어나다는 점에 주목하여 이를 달성한다. 더 중요하게는, LLM의 코드 작성 능력을 활용하여 비전-언어 모델(VLM)과 상호작용하며 3D 가치 지도를 구성함으로써, 그 지식을 에이전트의 관측 공간에 접지시킬 수 있다. 구성된 가치 지도는 모델 기반 계획 프레임워크에서 사용되어, 동적 교란에 강건한 폐루프 로봇 궤적을 제로샷으로 합성한다. 우리는 또한 제안한 프레임워크가 접촉이 많은 상호작용을 포함하는 장면에 대한 동역학 모델을 효율적으로 학습함으로써 온라인 경험으로부터 이득을 얻을 수 있음을 보인다. 시뮬레이션과 실제 로봇 환경 모두에서 제안 방법에 대한 대규모 연구를 제시하며, 자유 형식의 자연어로 지정된 매우 다양한 일상 조작 작업을 수행하는 능력을 보여준다. 영상과 코드: https://voxposer.github.io

링크

arXiv 2307.05973: https://arxiv.org/abs/2307.05973
DOI https://doi.org/10.48550/arxiv.2307.05973: https://doi.org/https://doi.org/10.48550/arxiv.2307.05973
PDF: https://proceedings.mlr.press/v229/huang23b/huang23b.pdf
코드: https://github.com/huangwl18/VoxPoser
프로젝트 페이지: https://voxposer.github.io/