Evaluating Real-World Robot Manipulation Policies in Simulation

Auteurs: Xuanlin Li, Kyle Hsu, Jiayuan Gu, Karl Pertsch, Oier Mees, Homer Rich Walke, Chuyuan Fu, Ishikaa Lunawat, Isabel Sieh, Sean Kirmani, Sergey Levine, Jiajun Wu, Chelsea Finn, Hao Su, Quan Vuong, Ted Xiao · CoRL 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

SIMPLER : des versions simulées open source des configurations Google Robot et WidowX/BridgeData V2 dont les classements de politiques suivent les résultats réels (MMRV 0,031, r 0,976 sur Pick Coke Can).

Pourquoi c'est important

Les équipes qui itèrent sur des politiques d'apprentissage par imitation obtiennent un signal bon marché et reproductible qui suit la performance réelle, et l'article montre que la MSE des actions en validation en est un mauvais indicateur (tableau I). Les environnements s'installent avec pip, utilisent l'interface Gym standard et rendent 3,5k pas de simulation par seconde sur une seule RTX 4090, ce que les auteurs présentent comme une accélération de 7× par rapport à l'évaluation réelle.

Problème

Les politiques de manipulation généralistes doivent être testées sur de nombreuses tâches et scènes, et une évaluation sur robot réel d'une telle ampleur est coûteuse, lente et difficile à reproduire d'un laboratoire à l'autre. Construire des jumeaux numériques complets pour la simulation est également coûteux, car cela exige une géométrie, des matériaux, un éclairage et des propriétés physiques faits à la main.

Solution proposée

Les auteurs construisent des simulations seulement assez réalistes pour que les taux de réussite simulés et réels classent les politiques de la même façon. Ils réduisent l'écart de commande en identifiant la raideur et l'amortissement du contrôleur simulé (recuit simulé sur l'erreur de suivi de l'effecteur terminal par rapport à des données de démonstration existantes), et l'écart visuel en incrustant sur « fond vert » un arrière-plan réel derrière des objets de premier plan simulés et en ajustant les textures des objets et du bras robotique à des images réelles. Ils proposent aussi la métrique Mean Maximum Rank Violation (MMRV), qui pondère chaque erreur de classement par l'écart de performance réel entre les politiques mal classées.

Idées clés

• Un jumeau numérique exact n'est pas nécessaire : la simulation doit seulement préserver le classement relatif des politiques.
• Le r de Pearson seul peut induire en erreur, car il récompense un ajustement linéaire et varie fortement avec un faible bruit lorsque les politiques ont des performances proches ; MMRV pondère chaque violation de rang par l'écart de performance réel.
• Les corrections visuelles n'aident que combinées : un arrière-plan incrusté sur fond vert, avec un tiroir et un robot aux textures ajustées, a donné le MMRV le plus bas sur la tâche du tiroir (0,050), alors que les combinaisons partielles ne faisaient pas mieux que la référence de 0,087.
• L'identification de système du contrôleur compte : perturber la raideur et l'amortissement a fait passer le MMRV de Pick Coke Can de 0,031 à 0,070–0,100.
• La simulation peut prédire des sensibilités réelles jamais testées auparavant, comme la sensibilité d'Octo-Base à la texture du bras robotique, qu'une expérience réelle avec des bras emballés dans du papier cadeau a ensuite confirmée.

Principaux résultats

• Google Robot avec Visual Matching : MMRV 0,031 / r 0,976 sur Pick Coke Can, 0,111 / 0,855 sur Move Near et 0,000 / 0,969 sur Open Drawer and Place Apple. Pour Open/Close Drawer, la Fig. 6 indique 0,055 / 0,915 tandis que la colonne Drawer du tableau I indique 0,027 / 0,942 ; l'article n'explique pas la différence.
• En moyenne sur les tâches Google Robot (tableau I) : Visual Matching MMRV 0,056 et r 0,924, Variant Aggregation 0,143 et 0,778, MSE des actions en validation 0,375 et 0,308.
• WidowX avec les tâches BridgeData V2 : MMRV moyen 0,014 et r 0,890 ; toutes les politiques ont été correctement classées sur toutes les tâches sauf une.
• Décalages de distribution sur deux points de contrôle RT-1 : MMRV 0,000 / r 0,831 sans augmentation de données et 0,016 / 0,970 avec ; de nouvelles couleurs unies de table ont réduit la réussite réelle de 4 % et simulée de 2 %, des textures à motifs de 25 % en réel et 24 % en simulation.
• Reproduit dans Isaac Sim avec Variant Aggregation sur Pick Coke Can et Move Near : MMRV 0,058 / r 0,919, contre 0,082 / 0,923 dans SAPIEN.
• Octo-Base a obtenu 0 % en simulation avec la texture de bras non ajustée et 29,3 % avec une texture ajustée ; modifier la masse des objets, le frottement de la pince ou le frottement de l'articulation du meuble a fait varier les taux de réussite jusqu'à 15 %, tandis que les corrélations restaient élevées.

Limites

• Seule la manipulation d'objets rigides est couverte ; les objets déformables sont laissés à des travaux futurs avec une simulation de corps souples.
• L'incrustation sur fond vert est limitée aux caméras fixes et ne reproduit pas les ombres des objets ni d'autres détails visuels.
• La création d'environnements demande encore un travail manuel pour sélectionner les assets et assembler les scènes ; les objets articulés comme le meuble demandent le plus d'effort.
• Les propriétés physiques sont simplifiées (densités uniformes trouvées avec GPT-4 ou une recherche web, valeurs de frottement génériques), et les taux de réussite absolus ne sont pas censés correspondre au monde réel, seulement les classements.
• L'évaluation réelle d'une politique sur les tâches du tiroir a été arrêtée après 2 essais en raison du risque d'endommager le robot, de sorte que ce MMRV est une estimation haute.

Impact sur le domaine

Cité 426 fois. Les auteurs publient tous les environnements SIMPLER, le code d'inférence des politiques pour RT-1, RT-1-X et Octo, et un guide pour construire de nouveaux environnements sur simpler-env.github.io, ainsi que des scripts en ligne de commande d'ajustement des textures (github.com/Jiayuan-Gu/GeTex).

Résumé

La robotique a fait des progrès significatifs vers des politiques généralistes de manipulation robotique. Cependant, l'évaluation de ces politiques dans le monde réel ne passe pas à l'échelle et se heurte à des problèmes de reproductibilité, qui risquent de s'aggraver à mesure que les politiques élargissent l'éventail des tâches qu'elles peuvent accomplir. Nous identifions les disparités de commande et visuelles entre environnements réels et simulés comme des défis clés pour une évaluation simulée fiable, et proposons des approches pour atténuer ces écarts sans avoir à concevoir des jumeaux numériques entièrement fidèles des environnements réels. Nous utilisons ensuite ces approches pour créer SIMPLER, un ensemble d'environnements simulés pour l'évaluation de politiques de manipulation sur des configurations de robots réels courantes. Au moyen d'évaluations appariées en simulation et en réel de politiques de manipulation, nous démontrons une forte corrélation entre la performance des politiques dans les environnements SIMPLER et dans le monde réel. En outre, nous constatons que les évaluations SIMPLER reflètent fidèlement les modes de comportement réels des politiques, comme la sensibilité à divers décalages de distribution. Nous publions en open source tous les environnements SIMPLER ainsi que notre processus de création de nouveaux environnements sur https://simpler-env.github.io afin de faciliter la recherche sur les politiques de manipulation polyvalentes et les cadres d'évaluation simulée.

Liens

• arXiv 2405.05941: https://arxiv.org/abs/2405.05941
• DOI https://doi.org/10.48550/arxiv.2405.05941: https://doi.org/https://doi.org/10.48550/arxiv.2405.05941
• PDF: https://arxiv.org/pdf/2405.05941v1
• Code: https://github.com/simpler-env/SimplerEnv
• Page du projet: https://simpler-env.github.io/