Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

HumanPlus: Humanoid Shadowing and Imitation from Humans

著者: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, Chelsea Finn · CoRL 2024

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

40 h の人間の動作で学習した RL ポリシーにより、33-DoF のヒューマノイドが 1 台の RGB カメラで捉えたオペレータを模倣する。その遠隔操作データで視覚スキルポリシーを学習し、成功率は 60–100% となる。

重要な理由

この遠隔操作の構成はオペレータ 1 人と RGB カメラ 1 台（論文の比較では $50 と記載）だけで済み、しゃがむ、歩くといった動作を含めて身体と手を同時に制御する。ヒューマノイドに取り組むチームは、スキルごとにタスク専用のシミュレーションを構築することなく、低コストの全身デモンストレーションから自律スキルへ至る道筋を得られる。

課題

ヒューマノイドは原理的には大量の人間の動作データから学習できるが、形態と駆動の違い、難しい全身の知覚と制御、そして手軽に使える全身データパイプラインの欠如がそれを妨げてきた。従来のヒューマノイドの遠隔操作はモーションキャプチャスーツ、外骨格、VR ヘッドセットに頼っており、著者らはこれらを高価で使える場所が限られると述べている。

提案手法

デコーダのみのトランスフォーマーによる低レベルポリシー（Humanoid Shadowing Transformer）を、ロボットにリターゲットした AMASS の人間の姿勢を用いてシミュレーションで PPO により学習し、1000 Hz の PD コントローラとともに 50 Hz でゼロショット展開する。1 台の RGB カメラから推定した身体姿勢（WHAM）と手の姿勢（HaMeR）をリアルタイムでリターゲットすることで、オペレータ 1 人がロボット全体を操作し、その間に頭部の 2 台のカメラが一人称視点のデータを記録する。ACT を改変したデコーダのみの Humanoid Imitation Transformer をこれらのデモンストレーションで学習し、ポリシーが視覚を無視しないよう、予測した将来の画像特徴に L2 損失を加える。

主な知見

  • 目標姿勢を条件とするタスク非依存の単一の低レベルポリシーを、リターゲットした人間の動作で学習することで、スキルごとの報酬設計が不要になり、ハードウェアへゼロショットで転移する。
  • 1 台の RGB カメラによるシャドーイングでは、オペレータ 1 人が身体と手を同時に制御できる。キネステティック教示、ALOHA 方式、Meta Quest のベースラインは 2 人以上のオペレータを必要とし、全身制御にも対応していなかった。
  • 行動と並行して将来の画像特徴トークンを予測することで、視覚ポリシーが固有受容感覚に過学習するのを防げる。これを持たない ACT は、すでに完了したサブタスクを繰り返して行き詰まった。
  • 奥行きが重要な場面では両眼入力が重要である。単眼版は Wear a Shoe and Walk で完全に失敗し、Fold Clothes ではテーブルを荒く扱った。

主な結果

  • 模倣ポリシーのタスク全体の成功率：Fold Clothes 100%、Rearrange Objects 90%、Type "AI" 80%、Two-Robot Greeting 90%、Warehouse 90%、Wear a Shoe and Walk 60%。各タスクで 25–40 回のデモンストレーションを使用した。
  • Wear a Shoe and Walk（40 デモ）：HIT は 60%、単眼版、ACT、オープンループ再生はいずれも 0% であった。ACT は Type "AI" でも 0% だったが、Fold Clothes、Warehouse、Two-Robot Greeting では HIT と同等であった。
  • 参加者 6 人のユーザ調査：Rearrange Objects のタスク全体の時間は、シャドーイングが 5.20 s、キネステティック教示が 6.60 s、ALOHA 方式が 7.15 s、Meta Quest が 8.87 s であった。しゃがむ必要のある Rearrange Lower Objects タスクを実行できたのはシャドーイングだけであった（15.34 s）。
  • 骨盤への押し試験：学習したポリシーは 32/44/70/100 N（前/後/左/右）に耐え、H1 のデフォルトコントローラは 24/36/40/40 N であった。回復時間は 1.2 s 対 15 s であった。
  • 学習したポリシーは 0.44 m までしゃがみ（デフォルトコントローラは 0.85 m）、0.35 m ジャンプし（デフォルトは 0 m）、椅子から立ち上がることができるが、デフォルトコントローラにはこれができない。
  • RTX 4090 上で、身体姿勢の推定とリターゲットは 25 fps、手の姿勢は 10 fps で動作する。模倣ポリシーは搭載コンピュータ上で 25 Hz で動作し、50 Hz の低レベルポリシーに入力を与える。

制限事項

  • ハードウェアの DoF は人間より少ない。1-DoF の足首では片脚を持ち上げて振るような動きができず、5-DoF の腕（手首を含む）は 6-DoF の操作空間制御を制限し、シャドーイング中に到達できない領域を残す。
  • 一人称視点のカメラは頭部に固定されており能動的に動かないため、手やインタラクションが視野から外れることがある。
  • 固定されたリターゲットの対応付けはロボットにない人間の関節を捨てるため、学習が人間の動作の一部に限られる可能性がある。
  • 姿勢推定は大きな遮蔽があると失敗するため、オペレータが立てる場所が限られる。オペレータはロボットを直接見通せることにも依存している。
  • 長距離のナビゲーションは扱われていない。著者らは、それにははるかに多くのデモンストレーションと、実世界での正確な速度追従が必要であると述べている。

分野への影響

CoRL 2024 Outstanding Paper Award のファイナリストであり、被引用数は 442 である。公式プロジェクトページは github.com/MarkFzp/humanplus のコードにリンクしている。

概要

人間に似たフォームファクタのロボットを作る主要な理由の 1 つは、膨大な人間のデータを学習に活用できることである。しかし実際には、ヒューマノイドの知覚と制御の複雑さ、ヒューマノイドと人間の形態や駆動における物理的なギャップ、そしてヒューマノイドが一人称視点の視覚から自律スキルを学習するためのデータパイプラインの欠如のため、それは依然として難しい。本論文では、ヒューマノイドが人間のデータから動作と自律スキルを学習するためのフルスタックシステムを紹介する。まず、既存の 40 時間分の人間の動作データセットを用いて、シミュレーションで強化学習により低レベルポリシーを学習する。このポリシーは実世界に転移し、ヒューマノイドロボットが RGB カメラ 1 台だけで人間の身体と手の動きにリアルタイムで追従すること、すなわちシャドーイングを可能にする。シャドーイングを通じて、人間のオペレータはヒューマノイドを遠隔操作し、実世界でさまざまなタスクを学習するための全身データを収集できる。次に、収集したデータを用いて教師ありの行動クローニングを行い、一人称視点の視覚を用いたスキルポリシーを学習させることで、ヒューマノイドが人間のスキルを模倣してさまざまなタスクを自律的に完了できるようにする。カスタマイズした 33-DoF、180cm のヒューマノイドでシステムを実証し、最大 40 回のデモンストレーションを用いて、靴を履いて立ち上がり歩く、倉庫の棚から物を降ろす、スウェットシャツを畳む、物を並べ替える、タイピングする、別のロボットに挨拶するといったタスクを 60-100% の成功率で自律的に完了した。プロジェクトウェブサイト：https://humanoid-ai.github.io/

リンク

  • arXiv 2406.10454: https://arxiv.org/abs/2406.10454
  • DOI 10.48550/arXiv.2406.10454: https://doi.org/10.48550/arXiv.2406.10454
  • PDF: https://raw.githubusercontent.com/mlresearch/v270/main/assets/fu25a/fu25a.pdf
  • コード: https://github.com/MarkFzp/humanplus
  • プロジェクトページ: https://humanoid-ai.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。