Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation

著者: Chi-Lam Cheang, Guangzeng Chen, Ya Jing, Tao Kong, Hang Li, Yifeng Li, Yuxiao Liu, Hongtao Wu, Jiafeng Xu, Yichu Yang, Hanbo Zhang, Minzhao Zhu · arXiv 2024 (technical report)

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

38M 本のウェブクリップで動画を予測するよう事前学習し、その後、未来のフレームと行動軌道を出力するようファインチューニングした GPT 型のモデル。105 の実テーブルトップタスクで成功率 97.7%。

重要な理由

このレポートは、マニピュレーションポリシーが本来ロボットデータから得る必要のある知識の多くを、ウェブ動画が担えることを示している。GR-2 はタスクあたり約 50 回のデモンストレーションのみで 105 タスクにおいて 73.9% の成功率に達し、未知の背景やキッチンでは GR-1 の成功率をおよそ 2 倍にする。透明・変形可能・反射性の物品を含む 122 種類の物体でのビンピッキング試験は、著者らがモデルベースの手法には難しい場合があると指摘する産業タスクを対象としている。

課題

大規模なロボットデータの収集には時間がかかり、実ロボットのシステムはスケールしにくいため、マニピュレーションポリシーがどこまで汎用になれるかが制限される。汎用エージェントは多くのスキルを学習しつつ、新しい背景、環境、物体、指示にも対処しなければならない。著者らによる以前の GR-1 は、動画生成の事前学習がポリシー学習に役立つことを示したが、使用した動画は 80 万本で、未知のシーンへの汎化は弱かった。

提案手法

GR-2 は言語で条件付けされた GPT 型のトランスフォーマーである。凍結されたテキストエンコーダが指示をトークン化し、凍結された VQGAN が各フレームを離散トークンに変換し、ロボットの状態（エンドエフェクタの姿勢とグリッパーの状態）は線形層を通る。まず、人間の活動データセットと公開ロボットデータセットから得た 3,800 万本のテキスト-動画クリップ（アブストラクトでは 500 億を超えるトークン、Section 2.1 では約 500 億）で未来のフレームを予測するよう事前学習され、その後、多視点のロボットデータでファインチューニングされ、未来の画像と、条件付き VAE による行動軌道とを併せて予測する。実機のアームでは、全身制御アルゴリズムがデカルト空間の軌道を平滑化し、衝突制約の下で 200 Hz で実行される関節指令に変換する。

主な知見

  • 事前学習を GR-1 の 80 万本の動画から 3,800 万本のクリップへと拡大し、事前学習した知識をファインチューニングに引き継ぐよう設計されたアーキテクチャと組み合わせることで、Unseen Backgrounds と Unseen Environments の設定における GR-1 の成功率がおよそ 2 倍になった。
  • 単一ステップの行動ではなく行動軌道を生成することが、軌道の滑らかさとリアルタイム性能の両方にとって極めて重要であることがわかった。
  • 予測された動画は実際のロールアウトとよく一致するため、行動出力は実質的に予測動画を「再生」している。著者らは、より良い行動を得る道筋として動画生成の改善を提案している。
  • 合成データ拡張（拡散ベースの物体挿入、SAM ベースの背景置換、動画の再生成）により、Unseen Environments の成功率は 71.7% から 87.0% に向上した。
  • 学習可能なパラメータを 30M から 719M に増やすにつれ、動画予測の検証損失と実ロボットでの成功率がともに改善した。

主な結果

  • マルチタスク学習：約 40,000 本の遠隔操作軌道でファインチューニングした後、Simple 設定において、8 つのスキルにまたがる 105 のテーブルトップタスクで平均成功率 97.7%。
  • 汎化：Unseen Backgrounds で 71.4%、Unseen Environments で 71.7% と、GR-1 の約 2 倍。データ拡張を用いると Unseen Environments で 87.0%、三つの汎化設定の平均で 74.7%。Unseen Manipulation では 55.8%。
  • タスクあたり約 50 本の軌道（データの約 1/8）による少データ学習：Simple 設定で 73.9% となり、三つの汎化設定すべてで GR-1 を上回った。
  • 55 種類の物体の約 94,000 本の軌道で学習し、122 種類の物体（うち 67 種類は未知）でテストしたエンドツーエンドのビンピッキング：平均成功率 79.0%、GR-1 は 33.3%。
  • CALVIN ABCD→D：1 タスクで 98.6%、5 タスク連続で 85.9% の成功率（GR-1：94.9% と 73.1%）で、平均長は 4.21 から 4.64 に伸びた。
  • デフォルトのモデルは 230M パラメータで、そのうち 95M が学習可能である。スケーリング実験では 30M、95M、312M、719M の学習可能パラメータを用いている。

制限事項

  • 著者らは未知のマニピュレーションを最も弱い領域（55.8%）としている。典型的な失敗は、新しい形状の未知物体をつかめないことと、未知の物体を求められたときに誤った物体をつかむことである。
  • 著者らが述べる今後の課題は、特に新しい物体と新しいスキルに対する行動予測の汎化性能とロバスト性の向上である。
  • 実ロボットの結果はすべて単一のプラットフォーム、すなわち Robotiq 2F-85 グリッパーを備えた Kinova Gen3 アームから得られたものであり、他のエンボディメントへの転移は検証されていない。
  • レポートには学習の計算量、推論ハードウェア、ポリシーのレイテンシの数値が示されておらず、設定ごとの数値の多くは図にしか現れない。
  • 本文には、コード、モデルの重み、ロボットデータセットの公開についての記載がない。

分野への影響

この ByteDance Research の技術レポートの被引用数は 377 である。プロジェクトページ（gr2-manipulation.github.io）へのリンクがあるが、本文にはコード、モデルの重み、データの公開についての記載がない。

概要

我々は、多様で汎化可能なロボットマニピュレーションのための最先端の汎用ロボットエージェント GR-2 を提示する。GR-2 はまず、世界のダイナミクスを捉えるために膨大な数のインターネット動画で事前学習される。3,800 万の動画クリップと 500 億を超えるトークンを含むこの大規模事前学習により、GR-2 はその後のポリシー学習において、幅広いロボットタスクと環境にわたって汎化する能力を得る。続いて GR-2 は、ロボットの軌道を用いて、動画生成と行動予測の両方についてファインチューニングされる。GR-2 は優れたマルチタスク学習能力を示し、100 を超えるタスクで平均 97.7% の成功率を達成する。さらに GR-2 は、新しい背景、環境、物体、タスクを含む、これまで見たことのない新しい状況に対して卓越した汎化性能を示す。特筆すべきは、GR-2 がモデルサイズに応じて効果的にスケールすることであり、今後のさらなる成長と応用の可能性を示している。プロジェクトページ：https://gr2-manipulation.github.io。

リンク

  • arXiv 2410.06158: https://arxiv.org/abs/2410.06158
  • DOI https://doi.org/10.48550/arxiv.2410.06158: https://doi.org/https://doi.org/10.48550/arxiv.2410.06158
  • PDF: https://arxiv.org/pdf/2410.06158v1
  • プロジェクトページ: https://gr2-manipulation.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。