ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection

Autores: Arpit Bahety, Priyanka Mandikal, Ben Abbatematteo, Roberto Martín-Martín · RSS 2024

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Modela o movimento das duas mãos como uma junta helicoidal (screw joint) de 1 DoF, extrai-a de um vídeo RGB-D de uma pessoa e a refina em um Tiago++ por busca no espaço helicoidal; 16 de 18 ensaios têm sucesso em seis tarefas.

Por que importa

O método precisa de um vídeo RGB-D por tarefa e de nenhum equipamento de teleoperação, captura de movimento ou simulador. Restringir a exploração a um eixo helicoidal (screw axis) transformou em sucessos, em até 25 episódios com o robô real, três tarefas que falhavam com exploração de waypoints de 6-DoF.

Problema

A manipulação bimanual exige dois braços sincronizados no espaço e no tempo, o que resulta em um grande espaço de ações em que a exploração aleatória em hardware real é impraticável. Vídeos de pessoas são uma fonte barata de demonstrações, mas o rastreamento das mãos é ruidoso e os corpos humanos e robóticos são diferentes, então os movimentos reproduzidos falham e precisam ser refinados, o que traz de volta o grande espaço de busca.

Solução proposta

Seguindo trabalhos de biomecânica que modelam as duas mãos como uma cadeia cinemática serial, o ScrewMimic define uma ação helicoidal: pontos de preensão para cada mão, um eixo helicoidal (screw axis) de 1 DoF (prismático, de revolução ou de revolução com orientação fixa) para o movimento da mão direita em relação à esquerda e uma trajetória opcional da mão esquerda. Ele a extrai de um vídeo RGB-D usando um detector de mãos e objetos e o FrankMocap, treina modelos PointNet com nuvens de pontos aumentadas geometricamente para predizê-la em novas poses do objeto e refina as predições que falham com o método de entropia cruzada no espaço do eixo helicoidal, usando uma recompensa autogerada a partir da duração do episódio e das leituras de força-torque do punho. As ações bem-sucedidas são adicionadas de volta para retreinar o preditor.

Principais ideias

Muitas tarefas com as duas mãos, com uma junta física (garrafa, notebook, rolo) ou sem ela (mexer, cortar, fechar um zíper), podem ser descritas por uma única junta helicoidal virtual de 1 DoF entre as mãos.
Projetar as trajetórias ruidosas do rastreamento das mãos sobre um eixo helicoidal limpa a demonstração antes de o robô usá-la.
Explorar os parâmetros do eixo helicoidal, em vez de waypoints N×6-DoF, torna o ajuste fino no robô real viável em 25 episódios.
Os dois termos da recompensa são necessários: sem a detecção de perda de preensão ou a classificação pela média do wrench, a abertura da garrafa e o ato de mexer falharam.
Ações ajustadas com sucesso podem retreinar o preditor, que então tem sucesso quase zero-shot com o mesmo objeto e se adapta a novas instâncias da categoria.

Principais resultados

Novas poses do objeto (tabela I): abrir garrafa 2/3, fechar zíper 3/3, inserir rolo 3/3, fechar notebook 3/3, mexer 2/3, cortar 3/3, ou seja, 16 de 18 ensaios, que o artigo relata como 90 % de sucesso agregado.
Os ensaios bem-sucedidos precisaram de 7 a 18 episódios em média (de 1 a 3 épocas de 5 episódios), com limite de 25 episódios; o ajuste fino leva cerca de 40 minutos.
Ablação do espaço de ações (tabela III): a exploração no espaço helicoidal teve sucesso com a garrafa, o rolo e o notebook após 16, 7 e 11 de 25 episódios; a exploração FM + N×6-DoF (no estilo DEFT) e Screw + N×6-DoF falharam nas três em 25 episódios, chegando a 0–50 % de conclusão da tarefa.
Retreinamento com a ação corrigida (tabela II): com o mesmo objeto, abrir garrafa passou de 3 épocas/16 episódios para 0/1 e inserir rolo de 1/7 para 0/2; com uma garrafa nova, o modelo retreinado precisou de 2/14, e após mais uma rodada, de 0/1.
Com o maior ruído adicionado (σ = 3,0 cm, 12,5°), o eixo extraído ficou deslocado em 2,1 cm e 13,1°, e o ajuste fino ainda teve sucesso após 4 épocas e 21 episódios.
Uma PointNet pré-treinada no ModelNet-40 reduziu o erro do eixo em garrafas não vistas (por exemplo, de 0,09 m, 6° para 0,03 m, 4,2°), enquanto o erro na garrafa de treinamento continuou o mesmo.

Limitações

Um único eixo helicoidal não se ajusta a tarefas em que as mãos se movem ao longo de mais de um eixo, como cortar em zigue-zague.
Um modelo de predição separado é treinado para cada classe de objeto, o que limita a generalização.
O sucesso de cada episódio é registrado manualmente, e uma pessoa reinicia a cena quando necessário.
Apenas o eixo helicoidal passa por ajuste fino, e não os pontos de contato da preensão; superfícies refletoras, como o notebook, tiveram de ser cobertas porque o sensor de profundidade não conseguia vê-las de todos os ângulos.
Com no máximo 25 episódios por ensaio, os resultados dependem das primeiras amostras de ações helicoidais; os dois ensaios que falharam terminaram sem encontrar uma ação bem-sucedida.

Impacto na área

Finalista do RSS 2024 Outstanding Student Paper Award, com 44 citações. A página oficial do projeto traz o link do código em github.com/UT-Austin-RobIn/ScrewMimic.

Resumo

A manipulação bimanual é um desafio antigo da robótica devido ao grande número de graus de liberdade e à rigorosa sincronização espacial e temporal necessária para gerar um comportamento significativo. Os seres humanos aprendem habilidades de manipulação bimanual observando outros humanos e refinando suas habilidades por meio da brincadeira. Neste trabalho, buscamos permitir que robôs aprendam comportamentos de manipulação bimanual a partir de demonstrações em vídeo de humanos e os ajustem por meio da interação. Inspirados por trabalhos seminais em psicologia e biomecânica, propomos modelar a interação entre as duas mãos como uma cadeia cinemática serial e, em particular, como um movimento helicoidal (screw motion), que usamos para definir um novo espaço de ações para a manipulação bimanual: as ações helicoidais (screw actions). Apresentamos o ScrewMimic, um framework que aproveita essa nova representação de ações para facilitar o aprendizado a partir de demonstrações humanas e o ajuste fino autossupervisionado da política. Nossos experimentos demonstram que o ScrewMimic é capaz de aprender vários comportamentos bimanuais complexos a partir de uma única demonstração humana em vídeo e que supera as baselines que interpretam as demonstrações e fazem o ajuste fino diretamente no espaço de movimento original dos dois braços. Para mais informações e resultados em vídeo, https://robin-lab.cs.utexas.edu/ScrewMimic/

Open Source Robotics