Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Eidon Tracker POV

七点の腕 IMU 追跡つき、1,274 時間の一人称視点家事映像

ライセンス

CC-BY-4.0

概要

27 名のボランティアが頭部装着カメラと七個の IMU センサーからなるハーネスを身につけ、自宅で実際の家事——洗濯物たたみ、掃除、皿洗い、料理、編み物——をこなしました。その結果が 13,451 本、合計 1,273.8 時間の記録で、いずれも一人称視点の映像と、両手・両前腕・両上腕・胸部の 24 Hz 姿勢データが対になっています。胸部センサーが基準座標系で、その逆行列を肢に合成すれば胴体相対の腕姿勢が得られ、装着者がどちらを向いているかに左右されません。映像と IMU は二つのリポジトリに分かれ recording_id で結合され、さらにバケットが映像のみ 306 時間を収めています。すべて CC-BY-4.0 です。

AgiBot World、DROID、Open X-Embodiment、ABC-130k のような大規模なロボット学習データセットは、ロボットを記録しています。このデータセットが記録するのは、日常的なマニピュレーションを行う人間を本人の視点から捉えたもので、腕の姿勢は推定ではなく計測されています。一人称視点の映像から手の姿勢を推定するのは難しくノイズの多い問題ですが、ここでは腕の姿勢に身体装着センサーによる正解データが付いています。

データセットカードは自身の弱点を詳しく記載しています。タスクの分布は大きく偏っており、洗濯物たたみが全時間の 67.5% を占め、末尾のクラスはそれぞれ 3 時間未満のため、カードはこれをバランスの取れた 9 クラスの行動データセットとして扱わないよう警告しています。提供者は少なく比重も不均等で、最大の提供者が全時間の 16.1%、上位 5 人で 57.2% を占めるため、カードは contributor_id で分割するよう勧めています。ランダム分割では同じ人物、家、カメラ機材が学習用とテスト用にまたがって漏れ、結果が水増しされます。人口統計は開示されていますが、代表性はないと説明されています。回答者の年齢の中央値は 26 歳で、17 人中 15 人が男性です。生の加速度センサー、ジャイロスコープ、磁力計の読み取り値は 2,841 件の記録にしかなく、カードはフィルタリングに使うべきフィールドを正確に示しています。品質管理では、すべての記録に対して MediaPipe による手の検出、HSV の明るさ、ラプラシアンによるぼけ、オプティカルフローによる安定性のチェックを行いました。不合格となった 472 件の記録は負例として、マークを付けて含まれています。

提供元の会社 Eidon AI(Solidic Labs Inc として事業)は事業を終了しました。会社がなくなってもデータが残るよう CC-BY-4.0 でデータを公開しており、続きが約束された最初のリリースではなく、最終リリースです。

重要な理由

大規模なロボット学習データセットの多くは、遠隔操作されるロボットを記録しています。人間の映像から学ぶ方策には人間の映像が必要で、難しいのは常に、腕が実際に何をしていたかを知ることでした。一人称カメラからの姿勢推定は手首では信頼性が低く、肩ではさらに悪くなります。7 個の IMU を身体に付けて実際の家事を 1,274 時間記録することはこの問題に直接答えるもので、データは寛容なライセンスで公開されています。

解決する課題

人の映像から操作を学ぶには腕が何をしていたかを知る必要がありますが、それを一人称カメラから復元するのは当てになりません。本データはそれを直接記録しています。身体装着型センサー七個による 24 Hz の姿勢データを映像と並べ、演出のない家事を千時間以上、商用利用も自由に。

主なポイント

  • 13,451 件の記録、1,273.8 時間、27 人の提供者、1080p から 4K の MP4 で 9.05 TB
  • 24 Hz の 9 軸 IMU を 7 個(両手、両前腕、両上腕、胸部)装着し、胸部を胴体基準の座標系として使用
  • 映像と IMU は別々のリポジトリで、recording_id で結合。3 つ目のストレージバケットには 37 人の提供者による映像のみの 306 時間分を追加
  • 演出されたデモではなく、実際の家庭での実際の家事:洗濯、掃除、皿洗い、料理、お絵描き、編み物、ベッドメイキング、植物の水やり
  • すべての記録に QC 指標と valid/flagged/invalid のステータスが付与されており、invalid の 472 件は負例として意図的に含まれている
  • データセットカードには落とし穴が明記されている:タスクの偏り、ランダム分割時の提供者リーク、少ない人口統計情報、そして生のモーションデータを実際に示すメタデータフィールドはどれか
  • CC-BY-4.0 で、帰属表示があれば商用利用可。提供元の会社が事業を終了した後に最終リリースとして公開

対象

  • 人のデモ映像で操作方策や世界モデルを学習させている人
  • 一人称の手・腕姿勢推定に取り組み、評価用の真値を必要とする研究者
  • 支援ロボティクスなどで日常生活動作の行動認識を構築するチーム
  • 視覚と身体装着型 IMU のセンサー融合を研究する人
  • 自分で採取せずに家事操作データの規模がほしい人

制限事項

  • 洗濯物たたみが全時間の 67.5% を占める。裾の活動はそれぞれ三時間未満で、単独では分類を支えられない
  • 貢献者 27 名のうち上位五人で全時間の 57.2%——contributor_id で分割しないと、同じ人物・住居・機材が評価の両側に漏れ込む
  • 人口統計は乏しく偏っている。回答者の年齢中央値は 26、17 名中 15 名が男性
  • 生の加速度計・ジャイロ・磁力計データは 13,451 本中 2,841 本にしか付いていない。姿勢クォータニオンは全体にあるが、生ストリームは任意参加である
  • 映像は未処理——顔のぼかしも領域の伏せ字もなく、私的な住宅内で撮影されており、顔・書類・画面の偶発的な写り込みは排除できないとカードが明記している
  • 映像だけで 9.05 TB あり、気軽に落とせるデータセットではない
  • カメラと IMU のあいだにハードウェア同期はない。位置合わせはタイムスタンプで行い、ずれは著者いわく逐次的なコード実行の数ミリ秒である
  • 制作した組織は事業を畳んでおり、訂正も v2 もなく、カードに記された削除依頼先以外に問い合わせる相手もいない

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。