Eidon Tracker POV
1.274 Stunden egozentrisches Hausarbeitsvideo mit Sieben-Punkt-IMU-Armtracking
Lizenz
CC-BY-4.0
Überblick
Siebenundzwanzig Freiwillige trugen eine Kopfkamera und ein Gurtzeug mit sieben IMU-Sensoren, während sie in den eigenen Wohnungen echte Hausarbeit erledigten — Wäsche falten, putzen, spülen, kochen, stricken. Entstanden sind 13.451 Aufnahmen über insgesamt 1.273,8 Stunden, jede mit Ich-Perspektive-Video und 24-Hz-Orientierung für beide Hände, beide Unterarme, beide Oberarme und den Brustkorb. Der Brustsensor ist das Bezugssystem: Sein Inverses mit einem Glied verknüpft ergibt die rumpfrelative Armpose, unabhängig davon, wohin die tragende Person gerade schaut. Video und IMU liegen in zwei Repositorien, verbunden über recording_id, dazu ein Bucket mit weiteren 306 Stunden reinem Video. Alles unter CC-BY-4.0.
Große Datensätze für Roboterlernen wie AgiBot World, DROID, Open X-Embodiment und ABC-130k zeichnen Roboter auf. Dieser hier zeichnet Menschen bei alltäglicher Manipulation aus ihrer eigenen Perspektive auf, wobei ihre Armkonfiguration gemessen und nicht abgeleitet wird. Die Schätzung der Handpose aus egozentrischem Video ist ein schwieriges, verrauschtes Problem; hier liefern am Körper getragene Sensoren die Referenzwerte für die Armposen.
Die Datensatzkarte dokumentiert ihre eigenen Schwächen ausführlich. Die Aufgabenverteilung ist stark verzerrt: Wäschefalten macht 67,5 % aller Stunden aus, und die seltenen Klassen haben jeweils unter drei Stunden, weshalb die Karte davor warnt, ihn als ausgewogenen Aktivitätsdatensatz mit neun Klassen zu behandeln. Es gibt wenige und ungleich gewichtete Mitwirkende – der größte liefert 16,1 % der Stunden, die fünf größten 57,2 % –, daher rät die Karte, nach contributor_id aufzuteilen: Eine zufällige Aufteilung lässt dieselbe Person, Wohnung und Kamerahalterung sowohl in Training als auch Test gelangen und schönt die Ergebnisse. Die Demografie ist offengelegt und als nicht repräsentativ beschrieben: Unter denen, die Angaben gemacht haben, liegt das Medianalter bei 26 Jahren, und 15 von 17 sind männlich. Rohdaten von Beschleunigungssensor, Gyroskop und Magnetometer gibt es nur für 2.841 Aufnahmen, und die Karte nennt das genaue Feld, nach dem gefiltert werden muss. Die Qualitätskontrolle hat für jede Aufnahme MediaPipe-Handerkennung, HSV-Helligkeit, Laplace-Unschärfe und Prüfungen der Stabilität des optischen Flusses durchgeführt; die 472 abgelehnten Aufnahmen sind enthalten und als Negativbeispiele gekennzeichnet.
Das Unternehmen dahinter, Eidon AI (firmierend als Solidic Labs Inc), wurde abgewickelt. Es hat die Daten unter CC-BY-4.0 veröffentlicht, damit sie das Unternehmen überdauern; dies ist also eine abschließende Veröffentlichung und keine erste, auf die weitere folgen sollen.
Warum es wichtig ist
Die meisten großen Datensätze für Roboterlernen zeichnen teleoperierte Roboter auf. Policies, die aus menschlichen Videos lernen, brauchen menschliche Videos, und die Schwierigkeit lag immer darin zu wissen, was die Arme tatsächlich taten: Die Posenschätzung aus einer Ich-Perspektive-Kamera ist am Handgelenk unzuverlässig und an der Schulter noch schlechter. Die Aufzeichnung von 1.274 Stunden echter Hausarbeit mit sieben IMUs am Körper beantwortet das direkt, und die Daten werden unter einer permissiven Lizenz veröffentlicht.
Welches Problem es löst
Manipulation aus menschlichem Video zu lernen setzt voraus zu wissen, was die Arme taten, und das aus einer Ich-Kamera zurückzugewinnen ist unzuverlässig. Hier wurde es direkt aufgezeichnet: 24-Hz-Orientierung von sieben am Körper getragenen Sensoren neben dem Video, über tausend Stunden ungestellter Hausarbeit, kommerziell frei nutzbar.
Wichtigste Punkte
- 13.451 Aufnahmen, 1.273,8 Stunden, 27 Mitwirkende, 9,05 TB MP4 in 1080p bis 4K
- Sieben 9-Achsen-IMUs mit 24 Hz – an beiden Händen, beiden Unterarmen, beiden Oberarmen und der Brust, wobei die Brust als rumpfbezogenes Bezugssystem dient
- Video und IMU liegen in getrennten Repositorys, verknüpft über recording_id; ein dritter Speicher-Bucket ergänzt 306 Stunden reines Videomaterial von 37 Mitwirkenden
- Echte Hausarbeiten in echten Wohnungen statt inszenierter Demonstrationen: Wäsche, Putzen, Abwasch, Kochen, Zeichnen, Stricken, Bettenmachen, Pflanzengießen
- Jede Aufnahme hat QC-Metriken und einen Status valid/flagged/invalid; die 472 ungültigen sind bewusst als Negativbeispiele enthalten
- Die Datensatzkarte nennt die Fallstricke: verzerrte Aufgaben, Durchsickern von Mitwirkenden bei zufälliger Aufteilung, spärliche demografische Angaben und welches Metadatenfeld tatsächlich auf Bewegungsrohdaten hinweist
- CC-BY-4.0, kommerzielle Nutzung mit Namensnennung erlaubt, als abschließende Veröffentlichung erschienen, nachdem das Unternehmen dahinter abgewickelt wurde
Für wen
- Alle, die Manipulations-Policies oder Weltmodelle auf menschlichem Demonstrationsvideo trainieren
- Forschende zur egozentrischen Hand- und Armposenschätzung, die Referenzdaten zum Auswerten brauchen
- Teams, die Aktivitätserkennung für Alltagsverrichtungen bauen, in der Assistenzrobotik oder anderswo
- Wer Sensorfusion zwischen Kamera und am Körper getragenen IMUs untersucht
- Alle, die Umfang in Haushaltsmanipulationsdaten wollen, ohne selbst aufzunehmen
Einschränkungen
- Wäsche falten macht 67,5 % aller Stunden aus; die seltenen Tätigkeiten haben jeweils unter drei Stunden und tragen keine eigene Klasse
- Siebenundzwanzig Mitwirkende, von denen die ersten fünf 57,2 % der Stunden liefern — nach contributor_id teilen, sonst sickern dieselbe Person, Wohnung und Ausrüstung in beide Seiten der Auswertung
- Die Demografie ist dünn und schief: unter den Angaben Medianalter 26 und 15 von 17 männlich
- Rohe Beschleunigungs-, Gyroskop- und Magnetometerdaten decken nur 2.841 von 13.451 Aufnahmen ab; Orientierungsquaternionen liegen durchgängig vor, die Rohströme sind Opt-in
- Das Video ist unbearbeitet — keine Gesichtsunkenntlichmachung, keine Schwärzungen, aufgenommen in Privatwohnungen, und die Karte sagt ausdrücklich, dass beiläufig erfasste Gesichter, Dokumente oder Bildschirme nicht auszuschließen sind
- 9,05 TB allein für das Video, das lädt man nicht nebenbei herunter
- Keine Hardwaresynchronisation zwischen Kamera und IMU; die Ausrichtung läuft über Zeitstempel, mit einem Versatz, den die Autoren als wenige Millisekunden sequenzieller Codeausführung beschreiben
- Die Organisation dahinter ist abgewickelt, es wird also keine Korrekturen geben, keine v2 und niemanden für Rückfragen außer der Löschanfrageadresse auf der Karte