Should We Learn Contact-Rich Manipulation Policies From Sampling-Based Planners?

Autori: Huaijiang Zhu, Tong Zhao, Xinpei Ni, Jiuguang Wang, Kuan Fang, Ludovic Righetti, Tao Pang · RA-L 2025

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Le dimostrazioni generate con RRT hanno un'alta entropia delle azioni che danneggia il behavior cloning; dati di pianificazione più coerenti addestrano diffusion policy per compiti ricchi di contatti che si trasferiscono zero-shot all'hardware.

Perché è importante

L'articolo mostra che è la progettazione del pianificatore, e non solo la quantità di dati, a decidere se il behavior cloning da dimostrazioni pianificate funziona: i dati a minore entropia hanno battuto i dati di RRT, probabilisticamente completo, anche se RRT copriva gli stati leggermente meglio. Offre un modo per ottenere dati di addestramento per compiti con contatti dell'intero braccio e coordinamento di più dita, che le attuali interfacce di teleoperazione non permettono di dimostrare facilmente.

Problema

Il behavior cloning ha funzionato soprattutto dove le persone possono teleoperare le dimostrazioni, ma le comuni interfacce di teleoperazione tracciano solo gli end effector, quindi le dimostrazioni con contatto dell'intero braccio o coordinamento di più dita sono difficili da raccogliere. L'apprendimento per rinforzo come fonte di dati tratta i vincoli come penalità sulla ricompensa, il che complica la progettazione della ricompensa e il trasferimento sim-to-real. L'articolo si chiede come i pianificatori di contatto basati su modelli dovrebbero generare dati di addestramento per questi compiti.

Soluzione proposta

Un pianificatore che usa un modello di contatto smussato e quasi-dinamico propone un piano, che viene rieseguito a blocchi in un simulatore fisico senza smussatura dei contatti per produrre dimostrazioni stato-azione; gli stati raggiunti vengono poi rietichettati come obiettivi (hindsight goal relabelling). Su questi dati si addestra una diffusion policy condizionata dall'obiettivo (U-Net 1D con condizionamento FiLM). Il pianificatore viene modificato per ottenere coerenza: una ricerca greedy per il compito bimanuale e, per il compito in mano, una roadmap probabilistica sparsa sulle 24 orientazioni canoniche del cubo con primitive fisse e prese precalcolate.

Idee chiave

• RRT campiona sotto-obiettivi a ogni espansione dell'albero, il che produce dimostrazioni con un'alta entropia delle azioni da cui è difficile apprendere, soprattutto con pochi dati.
• Una migliore copertura degli stati non ha dato policy migliori: i dati di RRT coprivano leggermente più stati, ma hanno addestrato policy nettamente peggiori rispetto ai dati del pianificatore greedy.
• La rietichettatura a posteriori degli obiettivi (hindsight goal relabelling) trasforma dimostrazioni subottimali o fallite in coppie di addestramento valide per gli stati effettivamente raggiunti.
• Nel compito del cubo, un ibrido di una policy principale e di una policy di regolazione finale contrasta lo squilibrio dei dati e ha aumentato il successo in simulazione di circa il 10 % rispetto a un'unica policy unificata.
• Sono stati usati orizzonti d'azione lunghi (40 e 60 passi) perché quelli brevi producevano movimenti a scatti dovuti al passaggio tra modalità d'azione.

Risultati principali

• IiwaBimanual in simulazione (100 posizioni iniziali): i dati del pianificatore greedy raggiungono il 99 % di successo con 100 dimostrazioni contro il 44 % dei dati di Contact-RRT; con 500, 1.000 e 5.000 dimostrazioni si ha 98 %, 99 % e 100 % contro 63 %, 88 % e 84 %.
• Simulazione, 100 pose iniziali: AllegroHand-Easy 82 % e AllegroHand-Hard 68 % con la policy ibrida, contro 74 % e 57 % con una policy unificata; IiwaBimanual 99 %.
• AllegroHand su hardware (policy ibrida): 15 prove riuscite su 24 per ciascuna variante (62,5 %), con errori di orientamento nelle prove riuscite di 13,7 ± 5,9° (Easy) e 15,5 ± 5,2° (Hard).
• IiwaBimanual su hardware: 18 prove riuscite su 20 (90 %); le prove fallite si sono concluse con circa 15° di errore di orientamento, appena sopra la soglia di 0,2 rad (11,5°).
• Il trasferimento è stato zero-shot nonostante la discrepanza del modello (oggetto reale di 1,25 kg e 0,59 m di diametro contro 1,0 kg e 0,6 m in simulazione) e senza domain randomization.

Limiti

• La policy spesso non reagisce a stati fuori distribuzione assenti dai dati di addestramento, una conseguenza delle primitive precalcolate; ciò accade più spesso sull'hardware.
• Una correzione in stile DAgger è difficile da applicare perché il pianificatore non riesce a trovare soluzioni a partire da configurazioni arbitrarie del sistema.
• La policy di IiwaBimanual a volte oscilla tra rotazione in senso orario e antiorario, per cui spesso impiega più tempo del necessario; la policy di AllegroHand a volte usa sequenze di primitive più lunghe del necessario.
• Il miglior rapporto di miscelazione dei dati per una policy unificata di AllegroHand resta aperto, e l'avvio a caldo dell'inferenza con la precedente predizione d'azione per ridurre gli scatti è lasciato a lavori futuri.
• Durante l'addestramento e la generazione dei dati non è stata usata alcuna domain randomization della geometria o dell'attrito dell'oggetto o del robot.

Impatto sul settore

L'articolo ha vinto il RA-L Best Paper Award (indicato come RA-L 2026) e ha 23 citazioni. Rende disponibile un video degli esperimenti su hardware (https://youtu.be/CxgjJmiiEhI); l'articolo non indica alcun rilascio di codice o dataset.

Abstract

L'enorme successo del behavior cloning (BC) nella manipolazione robotica è rimasto in gran parte confinato a compiti in cui le dimostrazioni possono essere raccolte efficacemente tramite teleoperazione umana. Tuttavia, le dimostrazioni per compiti di manipolazione ricchi di contatti che richiedono un coordinamento complesso di più contatti sono difficili da raccogliere a causa dei limiti delle attuali interfacce di teleoperazione. Studiamo come sfruttare la pianificazione e l'ottimizzazione basate su modelli per generare dati di addestramento per compiti di manipolazione fine ricchi di contatti. La nostra analisi rivela che pianificatori popolari basati sul campionamento come il rapidly exploring random tree (RRT), pur essendo efficienti per la pianificazione del movimento, producono dimostrazioni con un'entropia sfavorevolmente alta. Ciò motiva modifiche alla nostra pipeline di generazione dei dati che privilegiano la coerenza delle dimostrazioni mantenendo la diversità delle soluzioni. In combinazione con un approccio di BC condizionato dall'obiettivo e basato sulla diffusione, il nostro metodo consente un apprendimento efficace delle policy e un trasferimento zero-shot all'hardware per due impegnativi compiti di manipolazione ricchi di contatti.

Link

• arXiv 2412.09743: https://arxiv.org/abs/2412.09743
• DOI 10.1109/LRA.2025.3564701: https://doi.org/10.1109/LRA.2025.3564701
• PDF: https://arxiv.org/pdf/2412.09743v1