Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

RoboCap-10k

一人称視点の有償作業 10,000 時間、メートル単位の 3D 頭部・手の姿勢付き

ライセンス

CC BY 4.0

データ:CC BY 4.0。データセットカードのライセンス欄、Hugging Face のライセンスタグ、技術レポートによる。カードでは、論文を引用して表示すれば商用を含むあらゆる目的に使えるとしている。アクセス:制限あり。Grounded SI が申請ごとに承認し、申請フォームではデータセット内の人物を再識別しようとしないことへの同意を求めている。映像に映る人:カードには作業者がインフォームドコンセントに署名し、顔はぼかされているとあるが、CC BY 4.0 はプライバシー権や肖像権を許諾せず、技術レポートは現地の労働法やプライバシー法の順守を各国の提携先に委ねている。関連データセット:BitRobot の RoboCap-LiDAR-100 は CC BY-NC 4.0 で非商用のみ、RoboCap-IKEA-500 と RoboCap-Origami-500 は CC BY 4.0。カード画像:Grounded SI 自身が作成したデータセットのエピソードのプレビューから取ったフレーム。表示は Grounded Superintelligence。2026-11-12 にデータセットカード、技術レポート、BitRobot のデータセットカードで確認。

概要

RoboCap-10k は Grounded Superintelligence による一人称視点データセットで、人々が報酬を得て実際の仕事をする様子を厳選した 10,000 時間分を、カメラ付きの帽子で撮影し、頭部と両手のメートル単位の 3D の動きをラベル付けしたものです。21 の業種、365 種類の作業場、619 のタスクにわたる 1,363,915 エピソードを含み、11 か国で収録されました。パンの製造や衣料の縫製から、エンジン修理、回路基板のはんだ付け、鉄筋の結束まで含まれます。すべての時間は同じデバイス RoboCap で収録されました。重さ 250 g の帽子で、同期した 六台のグローバルシャッターカメラと 二基の IMU を備え、同じ 3D パイプラインで処理されています。各フレームには重力方向にそろえた 6-DoF の頭部姿勢と、世界座標系での MANO の手パラメータと片手 21 個のキーポイントが付き、各エピソードには短いタスクの説明と時刻付きのサブタスクの説明があります。データは LeRobot 形式と Rerun の記録で提供され、カメラの生ストリームも含めて CC BY 4.0 で公開されています。2026 年 11 月 7 日に Hugging Face で公開され、アクセスには申請が必要です。

RoboCap-10k は、ロボットのポリシーや世界モデルを学習させるための、実際の職業作業を一人称視点で記録したデータセットで、Grounded Superintelligence が Hugging Face で CC BY 4.0 のもとで公開しました。作業者は 6 〜 12 時間の通常の有給シフト中にカメラ付きの帽子をかぶり、カメラのために台本を用意したり演出したりしたことは一切ありません。厳選された公開版は 10,000 時間、1,363,915 エピソードで、各エピソードは 10 〜 600 秒、中央値は 17.8 秒です。21 の業種、365 種類の作業場、619 のタスクを含み、インド、ナイジェリア、コロンビア、米国、英国、メキシコ、チリ、マレーシア、フィリピン、インドネシア、スペインの 11 か国で収録されました。タスクは難易度別に分類され、易しいものが 170、中程度が 277、難しいものが 172 です。難しいタスクは、回路基板への部品のはんだ付け、鉄筋かごの結束、工業用縫製などの熟練作業です。

すべて 一機種のデバイス RoboCap で収録されました。重さ 250 g の帽子で、一つのハードウェアトリガーで同時に撮影する 1080p、30 Hz のグローバルシャッターカメラ 六台と、200 Hz の IMU 二基を備えています。魚眼ステレオペア 二組が手の届く範囲全体で手をメートル単位のステレオ視野に収め、側面の広角カメラ 二台がその外に出る動きをとらえます。Grounded SI は収録セッションごとに映像そのものからカメラを再キャリブレーションしており、公開したすべてのデバイスで平均エピポーラ誤差が 1 px 未満だとしています。頭部の軌跡はオフラインのバンドル調整を加えたマルチカメラの視覚慣性 SLAM から、手はすべてのカメラにわたって 一つの MANO 手モデルを当てはめるマルチビュートラッカーから得られます。モーションキャプチャとの比較で、Grounded SI は頭部軌跡の誤差の中央値を 3.0 mm、手の誤差を 4.5 mm PA-MPJPE と報告しています。これらは同社自身の測定で、技術レポートに記載されています。

言語ラベルは 二段階です。区間ごとに 一つの簡潔な説明があり、その中に連続した詳細なサブタスクの説明があります。詳細な説明は 二台の前方カメラの映像から Gemini 3.8 Flash が生成し、1,000 時間分、つまりコーパスの 10% について人が映像と照らして確認しました。

各エピソードは 二つの形式で提供されます。LeRobot 形式は学習用で、カメラごとに H.265 の MP4 ファイルが 一つあり、頭部姿勢、手の姿勢、IMU の読み取り値をフレーム単位で索引付けした Parquet テーブルが付きます。Rerun の記録は、六本のストリーム、頭部の軌跡、手のメッシュを 一つの 3D 世界座標系に表示します。各エピソードにはキャリブレーションと、分類ラベル、説明、品質統計を収めた JSON ファイルも付き、ラベルを検証・再生成できるよう生ストリームも公開されています。映像は合計約 108 TB で、LeRobot がストリーミングで読み込める Hugging Face のストレージバケットに置かれています。アクセスにはデータセットのページからの申請が必要で、Grounded SI は 2 〜 3 営業日以内に審査するとしています。アカウントがなくても、データセットのプレビューサイトで 1,794 エピソードを説明、国、作業ゾーンとともに閲覧し、Rerun ビューアで再生できます。

プライバシーについて、データセットカードには、すべての作業者がインフォームドコンセントの書類に署名し、すべての提携企業がデータ契約に署名し、装着者には賃金とは別に報酬が支払われると書かれています。音声は収録されておらず、顔は Grounded SI 独自の検出器で恒久的にぼかされ、メタデータには国と作業場の種類しか記載されていません。発表記事は BitRobot を共著者として挙げており、BitRobot も RoboCap-IKEA-500 や RoboCap-Origami-500 など、独自のより小規模な RoboCap の収録データを公開しています。

重要な理由

ロボットは実演から手の技能を学びますが、遠隔操作で得られる実演は少なく、コストも高くつきます。人が働く映像はいくらでもありますが、ロボットがまねるのはピクセルではなく姿勢です。映像が学習データになるのは、すべてのフレームで頭部と手の位置がメートル単位で求められてからです。RoboCap-10k は、キャリブレーション済みの 一機種のデバイスによる 10,000 時間の実作業についてそれを提供し、ラベルを作り直せるよう生ストリームも残し、商用利用を認めるライセンスで公開しています。このカタログで最大の一人称視点データセットであり、家事を記録した Eidon Tracker POV や、頭部と手のリグでロボットを使わない両手作業を記録した HiFi-UMI-2K と並びます。RoboCap-10k が記録するのは熟練の職業作業です。VLA や世界モデルの事前学習、模倣学習、人の手からロボットの手へのモーションリターゲティングに使える素材で、LeRobot 形式で提供され、確認用に Rerun の記録も付きます。MINT のようなツールは普通の動画から手の動きを推定しますが、このデータセットはキャリブレーション済みのステレオで測定した値をすでに含んでいます。

解決する課題

一人称視点の映像は操作データのもっとも拡張しやすい供給源ですが、大規模なコーパスの多くはメートル単位の 3D ラベルがないか、多数の異なるデバイスが混在しているか、少数の参加者が演出されたタスクを行う研究室で収録されています。RoboCap-10k は、キャリブレーション済みの 一機種のデバイスで収録した、演出なしの職業作業 10,000 時間を提供します。各エピソードにメートル単位の頭部姿勢、3D の手の姿勢、二段階の説明が付き、ロボット学習ツールがすでに読める形式で、商用利用を認めるライセンスのもとで公開されています。

主なポイント

  • 実際の有償作業を厳選した 10,000 時間、1,363,915 エピソード。11 か国の 21 業種、365 種類の作業場、619 タスクにわたる
  • すべて 一機種のデバイス、RoboCap 帽で収録:同期した 六台のグローバルシャッターカメラと 二基の IMU
  • すべてのフレームに、重力方向にそろえたメートル単位の 6-DoF 頭部姿勢と、片手 21 キーポイントの MANO 手姿勢
  • 簡潔なタスク説明と時刻付きの詳細なサブタスク説明。時間の 10% は人が確認
  • 学習用の LeRobot 形式と確認用の Rerun 記録。生ストリームとセッションごとのキャリブレーション付き
  • CC BY 4.0 で商用利用可。アクセスは申請制で、映像は合計約 108 TB

対象

  • 人の実演データで VLA、世界モデル、ロボット基盤モデルを事前学習する研究者
  • 器用な操作のために人の手の動きをロボットの手へ移すチーム
  • 一人称視点映像、SLAM、手の姿勢推定、行動セグメンテーションに取り組むコンピュータビジョン研究者
  • 手持ちのツールで読める形式の大規模な人のデータを求める LeRobot ユーザー

制限事項

  • 人の実演でありロボットの行動ではないため、ロボットの学習にはリターゲティングが必要で、人の腕はロボットアームとも異なる
  • 3D ラベルはすべてモデルの出力で真値ではなく、手の誤差はしっかり握る際に指が隠れる部分に集中する
  • 精度の数値は Grounded SI 自身が自社のベンチマークで測定し、自社の技術レポートで公表したもの
  • 詳細な説明は Gemini 3.8 Flash が生成し、人が確認したのは時間の 10% のみ
  • 収録は少数の国に集中し、業種の大半はインドが占め、家事や片手の作業は少ない
  • 触覚や力のセンサーはなく、接触は映像だけから推定する必要がある
  • アクセスは申請制で承認が必要。映像全体は約 108 TB あり、多くの利用者はストリーミングか一部のダウンロードになる
  • 顔のぼかしは単一フレームでの再現率 77.3% の検出器によるもので、フレーム間の追跡で補っているが、カードはすべての顔を検出できるとは主張していない
  • CC BY 4.0 は表示を求めるが、映像に映る作業者や周囲の人のプライバシー権や肖像権を許諾するものではない

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。