Evaluating Real-World Robot Manipulation Policies in Simulation

Autori: Xuanlin Li, Kyle Hsu, Jiayuan Gu, Karl Pertsch, Oier Mees, Homer Rich Walke, Chuyuan Fu, Ishikaa Lunawat, Isabel Sieh, Sean Kirmani, Sergey Levine, Jiajun Wu, Chelsea Finn, Hao Su, Quan Vuong, Ted Xiao · CoRL 2024

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

SIMPLER: versioni simulate open source delle configurazioni Google Robot e WidowX/BridgeData V2 le cui classifiche delle policy seguono i risultati reali (MMRV 0,031, r 0,976 su Pick Coke Can).

Perché è importante

I team che iterano su policy di apprendimento per imitazione ottengono un segnale economico e ripetibile che segue le prestazioni reali, e l'articolo mostra che l'MSE delle azioni in validazione ne è un pessimo indicatore (tabella I). Gli ambienti si installano con pip, usano l'interfaccia standard di Gym e renderizzano 3,5k passi di simulazione al secondo su una RTX 4090, che gli autori indicano come un'accelerazione di 7× rispetto alla valutazione reale.

Problema

Le policy di manipolazione generaliste devono essere provate su molti compiti e scene, e la valutazione su robot reali con questa ampiezza è costosa, lenta e difficile da riprodurre tra laboratori. Anche costruire gemelli digitali completi per la simulazione è costoso, poiché richiede geometria, materiali, illuminazione e proprietà fisiche realizzati a mano.

Soluzione proposta

Gli autori costruiscono simulazioni realistiche solo quanto basta perché i tassi di successo simulati e reali classifichino le policy allo stesso modo. Colmano il divario di controllo identificando rigidezza e smorzamento del controllore simulato (simulated annealing sull'errore di inseguimento dell'end effector rispetto a dati di dimostrazione esistenti), e il divario visivo con un 'green screen' che pone uno sfondo reale dietro gli oggetti simulati in primo piano e adattando le texture degli oggetti e del braccio robotico a immagini reali. Propongono inoltre la metrica Mean Maximum Rank Violation (MMRV), che pesa ogni errore di classifica in base al divario di prestazioni nel mondo reale tra le policy classificate in modo errato.

Idee chiave

• Non serve un gemello digitale esatto: la simulazione deve solo preservare la classifica relativa delle policy.
• La r di Pearson da sola può essere fuorviante, poiché premia un adattamento lineare e oscila con poco rumore quando le policy hanno prestazioni simili; MMRV pesa ogni violazione della classifica in base al divario di prestazioni reale.
• Le correzioni visive aiutano solo se applicate insieme: sfondo con green screen più cassetto e robot con texture adattate hanno dato l'MMRV più basso sul compito del cassetto (0,050), mentre le combinazioni parziali non hanno fatto meglio del riferimento di 0,087.
• L'identificazione di sistema del controllore conta: perturbare rigidezza e smorzamento ha alzato l'MMRV di Pick Coke Can da 0,031 a 0,070–0,100.
• La simulazione può prevedere sensibilità reali non ancora provate, come la sensibilità di Octo-Base alla texture del braccio robotico, poi confermata da un esperimento reale con le braccia avvolte in carta da regalo.

Risultati principali

• Google Robot con Visual Matching: MMRV 0,031 / r 0,976 su Pick Coke Can, 0,111 / 0,855 su Move Near e 0,000 / 0,969 su Open Drawer and Place Apple. Per Open/Close Drawer, la Fig. 6 riporta 0,055 / 0,915 mentre la colonna Drawer della tabella I riporta 0,027 / 0,942; l'articolo non spiega la differenza.
• In media sui compiti Google Robot (tabella I): Visual Matching MMRV 0,056 e r 0,924, Variant Aggregation 0,143 e 0,778, MSE delle azioni in validazione 0,375 e 0,308.
• WidowX con compiti BridgeData V2: MMRV medio 0,014 e r 0,890; tutte le policy sono state classificate correttamente in tutti i compiti tranne uno.
• Spostamenti di distribuzione su due checkpoint di RT-1: MMRV 0,000 / r 0,831 senza data augmentation e 0,016 / 0,970 con essa; nuovi colori uniformi del tavolo hanno ridotto il successo reale del 4 % e quello simulato del 2 %, le texture con motivi del 25 % il reale e del 24 % il simulato.
• Riprodotto in Isaac Sim con Variant Aggregation su Pick Coke Can e Move Near: MMRV 0,058 / r 0,919, contro 0,082 / 0,923 in SAPIEN.
• Octo-Base ha ottenuto lo 0 % in simulazione con la texture del braccio non adattata e il 29,3 % con una adattata; cambiare la massa dell'oggetto, l'attrito della pinza o l'attrito del giunto dell'armadietto ha spostato i tassi di successo fino al 15 %, mentre le correlazioni sono rimaste alte.

Limiti

• È coperta solo la manipolazione di oggetti rigidi; gli oggetti deformabili sono lasciati a lavori futuri con la simulazione di corpi morbidi.
• Il green screen è limitato a telecamere fisse e non riproduce le ombre degli oggetti e altri dettagli visivi.
• Creare ambienti richiede ancora lavoro manuale per selezionare gli asset e assemblare le scene; gli oggetti articolati come l'armadietto richiedono il maggiore sforzo.
• Le proprietà fisiche sono semplificate (densità uniformi ricavate con GPT-4 o con ricerche sul web, valori di attrito generici), e non ci si aspetta che i tassi di successo assoluti coincidano con il mondo reale, ma solo le classifiche.
• La valutazione reale di una policy sui compiti del cassetto è stata interrotta dopo 2 prove per il rischio di danneggiare il robot, quindi quell'MMRV è una stima per eccesso.

Impatto sul settore

Citato 426 volte. Gli autori rilasciano tutti gli ambienti SIMPLER, il codice di inferenza delle policy per RT-1, RT-1-X e Octo e una guida per costruire nuovi ambienti su simpler-env.github.io, oltre a script da riga di comando per l'adattamento delle texture (github.com/Jiayuan-Gu/GeTex).

Abstract

Il campo della robotica ha compiuto progressi significativi verso policy di manipolazione robotica generaliste. Tuttavia, la valutazione di tali policy nel mondo reale non è scalabile e deve affrontare problemi di riproducibilità, che probabilmente peggioreranno man mano che le policy ampliano lo spettro di compiti che sono in grado di svolgere. Individuiamo le disparità di controllo e visive tra ambienti reali e simulati come sfide chiave per una valutazione simulata affidabile e proponiamo approcci per mitigare questi divari senza dover realizzare gemelli digitali a piena fedeltà degli ambienti reali. Impieghiamo poi questi approcci per creare SIMPLER, una raccolta di ambienti simulati per la valutazione di policy di manipolazione su configurazioni comuni di robot reali. Attraverso valutazioni appaiate in simulazione e nel mondo reale di policy di manipolazione, dimostriamo una forte correlazione tra le prestazioni delle policy negli ambienti SIMPLER e nel mondo reale. Inoltre, riscontriamo che le valutazioni in SIMPLER riflettono accuratamente modalità di comportamento delle policy nel mondo reale, come la sensibilità a vari spostamenti di distribuzione. Rendiamo open source tutti gli ambienti SIMPLER insieme al nostro flusso di lavoro per creare nuovi ambienti su https://simpler-env.github.io per favorire la ricerca su policy di manipolazione di uso generale e su framework di valutazione simulata.

Link

• arXiv 2405.05941: https://arxiv.org/abs/2405.05941
• DOI https://doi.org/10.48550/arxiv.2405.05941: https://doi.org/https://doi.org/10.48550/arxiv.2405.05941
• PDF: https://arxiv.org/pdf/2405.05941v1
• Codice: https://github.com/simpler-env/SimplerEnv
• Pagina del progetto: https://simpler-env.github.io/