LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models

著者: Chan Hee Song, Jiaman Wu, Clayton Washington, Brian M. Sadler, Wei-Lun Chao, Yu Su · ICCV 2023

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

検索した例と物体に基づくグラウンディング付きの再計画を用いて、GPT-3 がラベル付き例 100 個から ALFRED の高レベル計画を書き、21,023 個で学習した HLSM に迫る。

重要な理由

このプランナがホストのエージェントに求めるのは物体のリストと低レベルプランナだけであり、パラメータの更新も不要なため、既存の階層型エージェントに組み込める。グラウンディングは真値のシーン情報ではなく事前学習済みの物体検出器から得られ、言語モデルの常識が、高レベルプランナが通常必要とするペアの言語データの大部分を置き換える。

課題

身体性をもつ指示追従エージェントは、タスクの種類ごとに数千件の ALFRED の例など、収集に費用のかかる大量の（指示、軌道）ペアのデータから学習する。階層型エージェントでは、言語とペアになったデータを必要とするのは高レベルプランナだけだが、それでも大量に必要である。100 個の例で再学習すると、HLSM と FILM のプランナはほとんどどのタスクも完了できない。

提案手法

LLM-Planner は、GPT-3 にプロンプトを与えて高レベルの計画、すなわち「Navigation fridge, OpenObject fridge」のようなサブゴールの列を書かせる。その際、BERT の埋め込みに基づく最近傍検索器が 100 個の学習ペアから選んだ 9 個の文脈内の例を用い、logit バイアスによって出力を許可された行動と物体に誘導する。サブゴールが失敗したりステップ数がかかりすぎたりした場合は、完了済みのサブゴールとエージェントの検出器が見た物体を用いてモデルに再度プロンプトを与え、HLSM の低レベルプランナが各サブゴールを基本動作に変換する。

主な知見

言語とペアになったデータを必要とするのは高レベルプランナだけであり、低レベルプランナはシミュレータ内で合成したデータで学習できるため、少数ショット学習はプランナのみを対象とする。
文脈内の例を動的に検索することが最も重要である。kNN 検索器をランダム選択に置き換えると、LOOCV での高レベル計画の精度は 40.59% から 17.48% に低下する。
観測された物体をプロンプトに加えることで、言語モデルは名前をシーンに実際にあるものに対応づけ（recycle bin を garbage can に、lamp を desk lamp に）、物体のありそうな場所を推測できる（ジャガイモは冷蔵庫に、カップは戸棚に）。
プロンプトの形式とハイパーパラメータは、別の検証セットを用いず（真の少数ショット設定）、同じ 100 個の例に対する一つ抜き交差検証で選ばれた。
エンドツーエンドでの失敗は、計画よりも低レベル側に起因することが多い。Heat & Place は計画の精度が 36% に達するが、HLSM の検出器が電子レンジを見落とすことが多いため、成功率は 1.8% である。

主な結果

ゴールと段階的な指示を与えた場合、LLM-Planner + HLSM は 100 個の学習ペアを用いて、ALFRED の valid unseen で成功率 15.36%、test unseen で 16.42% に達する。
同じ 100 ペアで再学習した HLSM と FILM の成功率は、valid unseen で 0.00%、test unseen でそれぞれ 0.61% と 0.20% である。
全 21,023 ペアで学習した HLSM（ゴールの指示のみ）は valid unseen で 18.28%、test unseen で 20.27% である。test unseen において、LLM-Planner の 16.42% は全データを用いた E.T.（8.57%）、HiTUT（13.87%）、M-TRACK（16.29%）を上回る。
グラウンディングに基づく再計画は、すべての設定で静的な計画を上回る。ゴールの指示のみの場合、test unseen での成功率を 1.83 ポイント高める（11.58% から 13.41%）。
LOOCV での計画精度のアブレーション：完全なモデル 40.59%、kNN 検索器なし 17.48%、logit バイアスなし 38.10%、両方なし 13.43%。
計画の精度は学習例が増えるほど高まり、250 個前後で収穫逓減となる。文脈内の例は 9 個が一般に良い選択である。

制限事項

著者らは改善の余地がまだ大きいと述べている。エンドツーエンドの成功率は、test unseen で成功率 27.80% の FILM など、全データを用いる最良の手法を依然として大きく下回る。
成功率は、LLM-Planner がそのまま再利用している HLSM の低レベルプランナと物体検出器によって上限が決まる。
オラクルの低レベルコントローラが利用できなかったため、動的な設定での計画精度は範囲としてしか示せない（たとえば valid unseen で 46.59–68.31%）。
評価はシミュレーション（AI2-THOR 上の ALFRED）のみで、物理的なロボットでの実験はない。
GPT-3 API に依存している。Codex などの他の言語モデル、より良いプロンプト設計、より強力なグラウンディングと再計画は今後の課題とされている。

分野への影響

本論文の被引用数は 583 である。ライセンスされた版ではコードやデータを公開しておらず、公開の GPT-3 API と、公式の HLSM および FILM のコードベースを再利用している。

概要

本研究は、視覚的に知覚される環境で自然言語の指示に従って複雑なタスクを完了できる、身体性をもつエージェント（embodied agent）に焦点を当てる。既存の手法は、良い方策を学習するために大量の（指示、正解軌道）のペアに依存している。高いデータコストと低いサンプル効率は、多くのタスクをこなし新しいタスクを素早く学習できる汎用的なエージェントの開発を妨げている。本研究では、GPT-3 などの大規模言語モデル（LLM）の力を活用して、身体性をもつエージェントのための少数ショットの計画を行う新しい手法 LLM-Planner を提案する。さらに、LLM を物理的なグラウンディングで強化し、現在の環境に根ざした計画を生成するための、単純だが効果的な方法を提案する。ALFRED データセットでの実験から、本手法は非常に競争力のある少数ショット性能を達成でき、ペアの学習データを 0.5% 未満しか用いないにもかかわらず、全学習データで学習した最近のいくつかのベースラインをも上回ることが示された。同じ少数ショットの設定では、既存の手法はほとんどどのタスクも成功裏に完了できない。本研究は、多くのタスクを素早く学習できる、汎用的でサンプル効率の高い身体性エージェントの開発への扉を開くものである。

リンク

arXiv 2212.04088: https://arxiv.org/abs/2212.04088
DOI https://doi.org/10.1109/iccv51070.2023.00280: https://doi.org/https://doi.org/10.1109/iccv51070.2023.00280
PDF: https://arxiv.org/pdf/2212.04088v1