FACTR 2: Learning External Force Sensing for Commodity Robot Arms Improves Policy Learning

Autoren: Steven Oh, Jason Jingzhou Liu, Tony Tao, Philip Han, Kenneth Shaw, Satoshi Funabashi, Ruslan Salakhutdinov, Deepak Pathak · CoRL 2026 2026

Warum es wichtig ist

Kraftrückmeldung und kraftbewusste Policies waren bisher meist Armen mit Gelenkmoment- oder Handgelenk-Kraftsensoren vorbehalten, etwa dem Franka für rund 30.000 US-Dollar, während die günstigen Arme, die viele Labore und Bastler kaufen, nur den Motorstrom melden. FACTR 2 zeigt einen billigen Weg über diese Lücke: etwa zehn Minuten freie Bewegung aufzeichnen, ein kleines rekurrentes Netz rund eine Minute trainieren, und der Arm meldet das äußere Drehmoment gut genug für Teleoperation mit Kraftrückmeldung und für bessere kontaktreiche Policies. Auf dem Franka, wo ein Sensor die Referenz liefert, folgte die gelernte Schätzung dem Kontakt deutlich genauer als die modellbasierten Baselines. Die Autoren setzen die Methode auf dem AgileX Piper (rund 2.500 US-Dollar), auf YAM-Armen und auf einem Nero ein, und der veröffentlichte Code enthält eine ROS-2-Pipeline für Aufzeichnung, Training, Inferenz und eine Piper-Teleoperationsdemo mit Kraftrückmeldung, unter Apache-2.0. Die CoRL 2026 hat das Paper als einen ihrer 21 Oral-Vorträge ausgewählt. Die Trainingsidee von FIRST, der Sekunde vor dem Kontakt mehr Gewicht zu geben, lässt sich leicht in jedes Behavior-Cloning-Setup einbauen.

Problem

Einsetzen, Verschrauben und der Umgang mit weichen Objekten hängen davon ab, Kontakt zu spüren, was sich aus Kamerabildern allein schwer ableiten lässt. Eigene Kraft-Momenten-Sensorik gibt es meist nur bei teuren Armen wie Franka, Flexiv oder KUKA, und ein Kraftsensor am Handgelenk kann mehr kosten als ein günstiger Arm. Das äußere Drehmoment aus dem Motorstrom zu schätzen, indem man das für freie Bewegung nötige Drehmoment abzieht, ist grundsätzlich möglich, braucht aber ein genaues Dynamikmodell. Auf günstigen Armen machen Reibung, Haftreibung, Umkehrspiel, Hysterese, Drehmomentwelligkeit und Totzonen solche Modelle unzuverlässig, und viele dieser Effekte hängen vom jüngsten Bewegungsverlauf ab. Ohne sauberes Kraftsignal bekommen Teleoperatoren keine Rückmeldung, und Policies erkennen nicht, wann sie etwas berührt haben. Beim Imitationslernen kommt ein zweites Problem hinzu: Fehler häufen sich in den kurzen Phasen der Ausrichtung vor dem Kontakt und im Kontakt selbst, doch diese machen nur einen kleinen Teil jeder Demonstration aus und werden im Training selten gezogen.

Lösungsansatz

NEXT ersetzt das analytische Dynamikmodell durch ein gelerntes. Die Autoren zeichnen etwa zehn Minuten kontaktfreie Bewegung auf: Jedes Gelenk fährt seinen Bereich ab, danach folgen kartesisch anmutende Bewegungen, langsam und schnell. Ein zweischichtiges LSTM liest einen Verlauf von 50 Schritten aus Gelenkposition, Gelenkgeschwindigkeit und der Differenz zwischen befohlener und gemessener Position und sagt das Motordrehmoment vorher, das der Arm im freien Raum braucht. Zur Laufzeit ist das gemessene Motordrehmoment, also Motorstrom mal Drehmomentkonstante, abzüglich dieser Vorhersage das äußere Drehmoment. Das Training dauert etwa eine Minute auf einer RTX 3090, ein Vorwärtsdurchlauf 1,76 ms auf einem CPU-Thread. Für die Teleoperation ersetzt die Schätzung den Drehmomentsensor in der Leader-Follower-Steuerung von FACTR. FIRST schwellt dann das geschätzte Drehmoment mit Hysterese, um jeden Zeitschritt einer Demonstration als Kontakt, Vorkontakt (die Sekunde vor Kontaktbeginn) oder freie Bewegung zu kennzeichnen, und zieht beim Bilden der Trainingsbatches Vorkontakt- und Kontaktschritte häufiger, bei den meisten Aufgaben Vorkontakt fünfmal so oft. Die Policies erhalten Kamerabilder, Gelenkpositionen und das geschätzte Drehmoment als Eingabe.

Wichtigste Erkenntnisse

Äußere Kraft lässt sich ohne jeden Kraftsensor lernen: Ein nur auf freier Bewegung trainiertes Netz sagt das Drehmoment vorher, das der Arm zur Bewegung braucht, und was vom gemessenen Motordrehmoment übrig bleibt, ist der Kontakt
Bei günstigen Aktuatoren zählt der Verlauf: Ein rekurrentes Modell mit einem Verlauf von 50 Schritten schlug MLP- und GRU-Varianten, und die Differenz zwischen befohlener und gemessener Position als zusätzliche Eingabe senkte den Fehler weiter
Gelernte Schätzung kann sowohl das Dynamikmodell als auch das Werkssignal schlagen: Auf dem Franka blieb die NEXT-Schätzung in freier Bewegung näher an null als die eigene Schätzung des äußeren Drehmoments des Arms
Policies scheitern nahe am Kontakt, nicht im freien Raum: Werden die Trainingsbatches zu Vorkontakt- und Kontaktschritten hin neu gezogen, sinkt der Validierungsverlust genau in diesen Phasen
Die Sekunde vor dem Kontakt sind die wertvollsten Daten: Vorkontaktschritte häufiger zu ziehen half im Mittel mehr als Kontaktschritte, die allein den niedrigsten Wert ergaben

Hauptergebnisse

Auf einem Franka unter Kontakt weicht die NEXT-Schätzung des äußeren Drehmoments im Mittel über die Gelenke um 0,547 Nm von der Schätzung des eingebauten Sensors ab, 87,6 % weniger als FILIC (4,395 Nm) und 62,8 % weniger als ein Störgrößenbeobachter (1,471 Nm)
In freier Bewegung auf dem Franka bleibt NEXT 0,414 Nm vom wahren Nullwert entfernt, gegenüber 0,449 Nm für das Signal des eigenen Sensors für äußeres Drehmoment des Franka sowie 2,429 und 2,460 Nm für den Störgrößenbeobachter und FILIC
Auf dem AgileX Piper, der keinen Drehmomentsensor hat, liegt der Fehler von NEXT in freier Bewegung bei 0,018 Nm, gegenüber 0,248 Nm für den Störgrößenbeobachter und 0,435 Nm für FILIC
In einer Teleoperations-Nutzerstudie mit 20 Personen an einer Wischaufgabe auf einem Franka bewerteten die Teilnehmenden die Kraftrückmeldung mit NEXT als leichter bedienbar als die Baselines, und die aufgewendete Kraft war mit FACTR Teleop mit eigenen Drehmomentsensoren vergleichbar
Über fünf kontaktreiche Aufgaben mit langem Horizont auf einem bimanuellen Piper-Aufbau (250 Demonstrationen und 20 Auswertungsdurchläufe je Aufgabe) erreichte FIRST den höchsten Aufgabenfortschritt, mehr als 17 % über früheren kraftbewussten Policies
Häufigeres Ziehen der Vorkontaktschritte erreichte über die fünf Aufgaben im Mittel 0,818 Aufgabenfortschritt, gegenüber 0,811 für Vorkontakt plus Kontakt und 0,670 nur für Kontakt
Mit einer ACT-Policy erreichte die Konditionierung auf das geschätzte äußere Drehmoment 0,567 beim NIST-Einsetzen und 0,525 beim Deckelschrauben, gegenüber 0,431 und 0,440 mit rohem Motorstrom und 0,220 und 0,440 ohne beides

Einschränkungen

Das Paper nennt zwei Grenzen: Die absolute Drehmomentskala hängt von der Drehmomentkonstante des Motors ab, sodass eine ungenaue Konstante eine Kalibrierung gegen einen externen Kraftsensor braucht, und NEXT ist roboterspezifisch, sodass jeder Arm eigene Aufzeichnung und eigenes Training brauchen kann
Veröffentlicht sind nur NEXT und die Teleoperationsdemo: Das Repository (Apache-2.0) enthält die ROS-2-Knoten für Aufzeichnung, Training, Inferenz und Visualisierung sowie eine Piper- und GELLO-Teleoperationsdemo mit Kraftrückmeldung, aber keinen FIRST-Trainingscode, keine Policy-Checkpoints und keine Demonstrationsdaten; die Kontaktschaltung und der Rampenfilter der Demo wurden in den Experimenten des Papers nicht verwendet
Die Genauigkeit wird nur auf dem Franka gegen eine Referenz gemessen; für den Piper wird nur der Fehler in freier Bewegung angegeben, weil der Arm keinen Drehmomentsensor hat, und die Leistung unter Kontakt stützt sich dort auf eine Nutzerstudie; YAM und Nero erscheinen nur in qualitativen Abbildungen und Videos
Alle Policy-Ergebnisse stammen von den Autoren selbst, auf einem einzigen bimanuellen Piper-Aufbau mit 20 Durchläufen je Aufgabe und Aufgabenfortschritt mit Teilpunkten; das Verhältnis der Neugewichtung wurde je Aufgabe nach dem Aufgabenfortschritt gewählt, und die Ablation zur Stärke der Neugewichtung lief mangels Rechenleistung nur auf drei Aufgaben mit ACT und einer mit der Flow-Matching-Policy

Wirkung auf das Fachgebiet

FACTR 2 macht Kraftsensorik zu einem Software-Schritt statt zu einer Hardware-Anschaffung: Jeder Arm, der Motorstrom und Gelenkzustand meldet, kann grundsätzlich aus einer kurzen Aufzeichnung eine Schätzung des äußeren Drehmoments erhalten. Das zählt vor allem für die günstigen Arme, die im Robot Learning inzwischen verbreitet sind und bei denen Kraftrückmeldung in der Teleoperation und Krafteingabe in Policies bisher kaum erreichbar waren. Der Vergleich mit dem rohen Motorstrom ist auch für andere nützlich: Strom direkt in die Policy zu geben half bei einer Aufgabe und bei der anderen nicht, während das geschätzte äußere Drehmoment bei beiden half. Die Ablationen zu FIRST liefern eine praktische Faustregel: Die Sekunde vor dem Kontakt verdient mehr Trainingsgewicht als der Kontakt selbst. Beide Teile beruhen auf eigenen Messungen der Autoren an ihren eigenen Aufbauten, daher wird erst unabhängige Replikation auf anderen Armen zeigen, wie weit der Ansatz trägt.

Zusammenfassung

Kontaktreiche Manipulation erfordert Kraftempfindlichkeit, doch vielen Roboterarmen fehlen wegen der hohen Kosten eigene Kraftsensoren. Wir stellen Neural External Torque Estimation (NEXT) vor, eine datengetriebene Methode, die äußere Gelenkmomente ganz ohne eigene Kraftsensoren schätzt. NEXT trainiert in 1 Minute auf nur 10 Minuten Daten aus freier Bewegung und erreicht dennoch Schätzungen, die mit eigenen Gelenkmomentsensoren vergleichbar sind. NEXT ermöglicht Teleoperation mit Kraftrückmeldung auf günstigen Armen und verbessert das Policy-Lernen durch Force-Informed Re-Sampling Training (FIRST), das Abschnitte vor dem Kontakt und im Kontakt beim Behavior Cloning häufiger auswählt. Über fünf Aufgaben mit langem Horizont übertrifft FIRST frühere kraftbewusste Policies beim Aufgabenfortschritt um mehr als 17 %. Zusammen bringen NEXT und FIRST kraftbewusste Teleoperation und kraftbewusstes Policy-Lernen auf handelsübliche Roboter, ohne zusätzliche Sensorhardware. Videos und Code sind verfügbar unter https://jasonjzliu.com/factr2

Open Source Robotics