LeRobot steuert jetzt den Humanoiden Unitree G1 über ein VLA und einen Ganzkörper-Controller
- Quelle: Hugging Face LeRobot team
- Autor: Open Source Robotics
- Veröffentlicht: 2026-09-25
- Kategorie: business
Das LeRobot-Team hat einen vollständigen Humanoiden-Workflow für den Unitree G1 veröffentlicht. Eine π0.5-Policy sagt Bewegungstokens voraus, und NVIDIAs SONIC-Controller macht daraus ausbalancierte Ganzkörperbewegung; Teleoperations-Setup, druckbare Hardware, Datensatz und Gewichte sind alle freigegeben. Der SONIC-Pfad liegt im Main-Branch von LeRobot, noch nicht in einem Release.
LeRobot kann jetzt eine gelernte Policy auf einem Humanoiden in voller Größe ausführen. In einem Beitrag vom 25. September zeigt das LeRobot-Team von Hugging Face die gesamte Kette an einem Unitree G1: Ganzkörper-Teleoperation, einen Datensatz, ein feinabgestimmtes Vision-Language-Action-Modell und einen Controller, der einen Zweibeiner mit 29 Gelenken aufrecht hält, während das Modell entscheidet, was zu tun ist.
Das Design löst ein Problem, das Arme nie hatten. Ein VLA ist viel zu langsam, um einen laufenden Roboter allein im Gleichgewicht zu halten, also setzt LeRobot einen schnellen Controller zwischen beide. Die Policy ist π0.5 von OpenPI, und sie sagt statt Gelenkwinkeln einen kompakten 64-dimensionalen Bewegungstoken voraus. Der Decoder von NVIDIAs SONIC, Teil von GR00T-WholeBodyControl, macht aus jedem Token plus dem jüngsten Körperzustand Gelenkziele mit 50 Hz auf dem Roboter. Das Rezept folgt dem OpenHLM-Paper mit einer Änderung: LeRobot trainiert das VLA direkt auf dem latenten Token. Der SONIC-Decoder wurde am 17. August als reine Python-ONNX-Neuimplementierung in LeRobot übernommen.
Die Demonstrationsaufgabe ist, eine Dose zu einem Tisch zu tragen. Ihr Datensatz umfasst etwa 100 Episoden, rund 71 Minuten VR-Teleoperation mit drei Kameras. π0.5 wurde darauf 12.000 Schritte lang auf vier H100 feinabgestimmt, und die resultierende Policy ist öffentlich. Der Roboter selbst ist modifiziert: OpenArm-Greifer an gedruckten Handgelenkadaptern, eine Kopfkamera und ein gedruckter Rucksack für den CAN-FD-Adapter und die Verkabelung. Die druckbaren Teile sind ebenfalls freigegeben.
Der Beitrag behandelt außerdem ein zweites Experiment und den weiteren Stack. Das Team trainierte in mjlab mit PPO einen LoRA-Adapter auf SONIC, damit der G1 mithilfe der Tiefendaten seiner Kopfkamera geworfenen Bällen ausweicht. Das folgt ViBE. In der Simulation wich er 79,1 % der Würfe aus, gegenüber 0 % bei ausgeblendetem Tiefeneingang. Das Team sagt klar, dass dies ein Simulationswert ist und der Hardware-Clip eine Demonstration, keine Evaluation. Der G1 lässt sich auch über die Ganzkörpersteuerung von GR00T oder über Holosoma von Amazon FAR steuern. Es gibt eine MuJoCo-Simulation und Arm-IK, und der Homunculus-Handschuh und das Exoskelett des Teams zeichnen Teleoperation direkt aus der Gelenkbewegung auf. Diese Geräte wurden ursprünglich für HOPEJr gebaut.
Eines sollte klar sein. G1-Unterstützung ist seit Monaten in LeRobot-Releases enthalten, aber der SONIC-Decoder wurde nach v0.6.1, dem neuesten getaggten Release, übernommen. Wer den hier beschriebenen Workflow nutzen will, muss LeRobot aus dem Quellcode installieren, und die G1-Dokumentation bezieht sich auf den Main-Branch. Laut Team ist der nächste unterstützte Humanoide Asimov, der Open-Source-Roboter von Menlo Research.
Warum es wichtig ist
Humanoide sind der Bereich, in den das Roboterlernen seine Anstrengungen steckt, und bisher endeten die offenen Werkzeuge meist bei Armen. Das Schwierige an einem Zweibeiner ist nicht das Modell, sondern ihn aufrecht zu halten, während das Modell nachdenkt. Die Arbeit zwischen einer langsamen Policy und einem schnellen Ganzkörper-Controller aufzuteilen und jedes Glied der Kette zu veröffentlichen, gibt jedem mit einem G1 einen reproduzierbaren Ausgangspunkt. Außerdem lässt sich so eine Policy auf Aufgabenebene aus etwa hundert Demonstrationen trainieren, ohne das Gleichgewicht von Grund auf neu zu lernen.
Wichtigste Punkte
- LeRobot führt eine π0.5-Policy auf dem Unitree G1 aus, indem sie SONICs 64-D-Bewegungstokens vorhersagt, die ein schneller Decoder auf dem Roboter mit 50 Hz in Gelenkziele für 29 Freiheitsgrade umsetzt
- Der SONIC-Decoder ist eine reine Python-ONNX-Portierung, die am 17. August in LeRobot übernommen wurde; er liegt im Main-Branch, aber nicht in v0.6.1, dem neuesten Release
- Die Beispiel-Policy zum Tragen einer Dose wurde auf etwa 100 Ganzkörper-VR-Teleoperationsepisoden (rund 71 Minuten) trainiert; Datensatz und Gewichte sind öffentlich
- Druckbare G1-Modifikationen sind freigegeben: Handgelenkadapter für OpenArm-Greifer, ein Kopfkamerahalter und ein Rucksackgehäuse für den CAN-FD-Adapter
- Ein tiefenbasierter Adapter zum Ausweichen vor Bällen, trainiert in mjlab, wich in der Simulation 79,1 % der Würfe aus; die Autoren sagen, dass es keine gemessene Erfolgsquote auf Hardware gibt
- Der G1 lässt sich auch über die Ganzkörpersteuerung von GR00T oder über Holosoma steuern, mit MuJoCo-Simulation, Arm-IK und vollständigem propriozeptivem Zustand
- Asimov, der Open-Source-Humanoide von Menlo Research, wird als nächster unterstützter Roboter genannt
Open-Source-Bezug
Alles, was der Beitrag beschreibt, ist freigegeben: der SONIC-Decoder und die G1-Integration in LeRobot unter Apache-2.0, der Teleoperationsdatensatz, die feinabgestimmten Policy-Gewichte, die druckbaren Hardware-Modifikationen sowie die Designs von Homunculus-Handschuh und -Exoskelett. Nicht offen ist der Roboter. Der Unitree G1 ist ein kommerzieller Humanoide, der Workflow ist also offene Software auf geschlossener Hardware, und der Beitrag nennt Asimov als den offenen Humanoiden, der als Nächstes unterstützt wird.
Verwandte Technologien
- LeRobot
- Unitree G1
- OpenPI
- SONIC
- GR00T-WholeBodyControl
- OpenHLM
- Holosoma
- mjlab
- OpenArm
- MuJoCo
Verwandte Projekte
Links
- Quelle: https://huggingface.co/blog/nepyope/bringing-humanoids-to-lerobot