Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

Gli RL Tokens di Physical Intelligence: 15 minuti di dati reali per la manipolazione robotica di precisione

  • Fonte: Physical Intelligence
  • Autore: Open Source Robotics
  • Pubblicato: 2026-03-19
  • Categoria: research

Physical Intelligence presenta gli RL Tokens (RLT), che permettono ai robot basati su VLA di migliorare la manipolazione di precisione con appena 15 minuti di apprendimento per rinforzo nel mondo reale, accelerando fino a 3× la fase più precisa di ogni compito.

Rettifica, 29 ottobre 2026. Una versione precedente di questo articolo affermava che gli RL Tokens fossero basati su π0 e addestrati con RLPD, e riportava aumenti di produttività per compito letti dai grafici dell'articolo scientifico. L'articolo si basa su π0.6 e segue TD3; RLPD compare solo in un riferimento di confronto. I risultati qui sotto ora seguono ciò che l'articolo e la sua pagina dichiarano a parole.

---

RL Tokens: un ponte tra VLA e manipolazione di precisione

Physical Intelligence ha pubblicato un nuovo articolo di ricerca che introduce gli RL Tokens (RLT), un metodo che aggiunge un apprendimento per rinforzo online efficiente sopra i modelli Vision-Language-Action (VLA). La tecnica affronta un limite critico degli attuali modelli VLA: pur eccellendo nella generalizzazione tra compiti, faticano a raggiungere la precisione richiesta dai compiti reali di assemblaggio e inserimento.

Come funziona

RLT aggiunge un piccolo modulo transformer encoder-decoder a un modello VLA esistente (nell'articolo, π0.6, un successore di π0). Questo modulo comprime le rappresentazioni interne del VLA in un unico e compatto "RL token". Piccole reti actor e critic vengono poi addestrate su questo token con un apprendimento per rinforzo off-policy efficiente in termini di campioni, mantenendo congelati i pesi del VLA durante l'addestramento (l'articolo descrive anche la possibilità di distillare il risultato nel VLA).

Questa struttura è fondamentale: l'intero modello VLA resta congelato, conservando le sue capacità di generalizzazione, mentre la leggera testa di RL apprende la precisione specifica del compito da pochi minuti di interazione nel mondo reale.

Risultati

Physical Intelligence ha provato RLT su quattro compiti, ciascuno con una fase critica ad alta precisione: avvitare una vite con un cacciavite, chiudere una fascetta, collegare un caricatore e inserire un cavo Ethernet. Su tutti, RLT ha accelerato fino a 3× la fase più precisa di ciascun compito e ha migliorato i tassi di successo. Nell'inserimento del cavo Ethernet, l'addestramento ha richiesto due ore con appena 15 minuti di dati del robot, e metà delle prove della policy finale sono state più veloci di qualsiasi dimostrazione teleoperata del dataset.

Dettagli dell'architettura

L'approccio RLT usa: - Una base VLA congelata (π0.6) che gestisce visione, comprensione del linguaggio e generazione approssimativa delle azioni - Un transformer encoder-decoder che produce RL token compressi dagli stati nascosti del VLA - RL actor-critic off-policy secondo TD3, con piccole reti che operano sull'RL token - Nessuna ingegnerizzazione della ricompensa: usa semplici segnali binari di successo/fallimento

Perché conta per la precisione

Gli attuali modelli VLA sono addestrati principalmente su dati di dimostrazione, che catturano un comportamento "medio" ma non le regolazioni precise necessarie per compiti con tolleranze strette. RLT permette al robot di scoprire queste strategie precise per tentativi ed errori, integrando l'ampia comprensione dei compiti del VLA con una destrezza appresa.

Perché è importante

La manipolazione di precisione (inserire cavi, allineare viti, fissare connettori) resta il problema irrisolto più difficile della robotica applicata. I modelli VLA hanno fatto passi da gigante nella generalizzazione, ma l'assemblaggio di livello produttivo richiede ancora una precisione submillimetrica che i soli dati di dimostrazione non possono insegnare. RLT mostra che combinare la comprensione di un foundation model con un fine-tuning RL mirato potrebbe essere la strada verso robot al tempo stesso generali e precisi, una svolta che l'intera comunità della robotica insegue da tempo.

Punti chiave

  • Gli RL Tokens comprimono gli stati nascosti del VLA in un unico token per un apprendimento per rinforzo efficiente, mentre il modello di base resta congelato
  • Appena 15 minuti di dati reali accelerano fino a 3× la fase più precisa di ogni compito
  • La base VLA congelata (π0.6) conserva la generalizzazione mentre la testa di RL apprende la precisione specifica del compito
  • Nell'inserimento del cavo Ethernet si è ottenuta una velocità di esecuzione superiore a quella umana dopo il fine-tuning con RL
  • La tecnica usa semplici ricompense binarie di successo/fallimento: nessuna ingegnerizzazione complessa della ricompensa

Il lato open source

Sebbene RLT in sé non sia open source, la tecnica è descritta in dettaglio in un articolo scientifico pubblicamente disponibile e potrebbe essere implementata sopra modelli VLA aperti come OpenVLA, Octo o la policy Pi0-FAST di LeRobot. L'idea centrale, cioè congelare un backbone VLA e addestrare una testa RL leggera su token compressi, è indipendente dall'architettura e potrebbe accelerare il percorso della comunità open source verso capacità di manipolazione precise nel mondo reale.

Tecnologie correlate

  • VLA (Vision-Language-Action)
  • Reinforcement Learning
  • π0.6
  • Manipulation
  • Off-Policy RL
  • TD3
  • Transformer

Articoli correlati

  • pi0: A Vision-Language-Action Flow Model for General Robot Control
  • πRL: Online RL Fine-tuning for Flow-based Vision-Language-Action Models
  • HIL-SERL: Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning
  • RL-100: Performant Robotic Manipulation with Real-World Reinforcement Learning
  • OpenVLA: An Open-Source Vision-Language-Action Model
  • Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware

Progetti correlati

  • LeRobot
  • OpenVLA
  • Mobile ALOHA
  • SmolVLA

Link

  • Fonte: https://www.pi.website/research/rlt

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.