Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation

著者: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu · ICLR 2025

ICLR 2025

ライセンス

  • オープンアクセス
  • 論文: arXiv.org perpetual, non-exclusive license 1.0

arXivのライセンスに従い、以下の内容はすべてアブストラクトのみから書かれています。

概要

双腕マニピュレーションはロボティクスに不可欠だが、2本のロボットアームを協調させることに固有の複雑さ(多峰性の行動分布につながる)と学習データの不足のため、基盤モデルの開発は極めて難しい。本論文では、双腕マニピュレーションのための先駆的な拡散基盤モデルであるRobotics Diffusion Transformer(RDT)を提案する。RDTは拡散モデルを基盤として多峰性を効果的に表現し、スケーラブルなトランスフォーマーの革新的な設計により、マルチモーダルな入力の異質性に対処するとともに、ロボットデータの非線形性と高周波性を捉える。データ不足に対処するため、さらにPhysically Interpretable Unified Action Space(物理的に解釈可能な統一行動空間)を導入する。これはさまざまなロボットの行動表現を、元の行動の物理的な意味を保ったまま統一し、転移可能な物理的知識の学習を促す。これらの設計により、RDTをこれまでで最大の複数ロボットのデータセット群で事前学習し、ロボットマニピュレーション向けとして最大の拡散ベースの基盤モデルとなる12億パラメータまでスケールアップした。最後に、6,000を超えるエピソードからなる自作のマルチタスク双腕データセットでRDTをファインチューニングし、マニピュレーション能力を磨いた。実機ロボットでの実験により、RDTが既存手法を大きく上回ることが示された。未知の物体やシーンへのゼロショット汎化を示し、言語指示を理解して従い、わずか1~5回のデモンストレーションで新しいスキルを習得し、複雑で器用さを要するタスクを効果的にこなす。コードと動画は https://rdt-robotics.github.io/rdt-robotics/ を参照のこと。

リンク

  • arXiv 2410.07864: https://arxiv.org/abs/2410.07864
  • PDF: https://arxiv.org/pdf/2410.07864
  • プロジェクトページ: https://rdt-robotics.github.io/rdt-robotics/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。