Eye-in-Hand Camera

• Também chamado: wrist-mounted camera, wrist camera, hand camera
• Categoria: Sensing › Exteroceptive
• Tags: cameras, manipulation, hand-eye-calibration, end-of-arm-tooling, robot-learning

Uma câmera montada no punho ou no efetuador final de um robô para que se mova com a garra, dando vistas de perto daquilo que a mão está prestes a tocar.

Definição

Câmera olho na mão (eye-in-hand camera) é montada no punho, no flange ou na garra do robô, de modo que seu ponto de vista se move com o efetuador final. A alternativa, uma câmera olho para a mão (eye-to-hand), fica fixa na célula de trabalho ou na cabeça ou na base do robô e observa o braço de fora. Muitos sistemas combinam as duas: uma câmera fixa para uma visão geral da cena e uma câmera de punho para a aproximação final.

A posição no punho traz vários benefícios. A câmera vê o objeto de perto no momento em que isso importa, então detalhes pequenos e erros de alinhamento ficam visíveis em alta resolução. A vista é aproximadamente constante em relação à garra, o que torna simples a relação entre as características da imagem e o movimento necessário da garra; essa é a base do servocontrole visual olho na mão, e em políticas de manipulação aprendidas muitas vezes torna o comportamento menos sensível ao lugar onde os objetos estão na cena. A câmera também pode ser movida para olhar ao redor de oclusões ou escanear um objeto de vários lados. Os custos são um campo de visão estreito e em constante mudança que perde o acompanhamento da cena mais ampla, a oclusão pelos próprios dedos da garra e pelo objeto agarrado, o desfoque de movimento durante movimentos rápidos, uma distância mínima de foco ou de profundidade que pode ser longa demais quando a garra está mais perto do objeto, e cabeamento e massa extras no punho.

Usar as imagens da câmera em coordenadas do robô exige calibração mão-olho (hand-eye calibration): estimar a transformação fixa entre a câmera e o flange. A formulação padrão, AX = XB, compara os movimentos da câmera observados em relação a um alvo de calibração com os movimentos correspondentes do flange obtidos pela cinemática direta; Tsai e Lenz publicaram em 1989 uma solução muito usada. Erros nessa transformação aparecem diretamente como desvios na preensão, por isso a calibração é repetida sempre que o suporte da câmera é trocado ou sofre uma batida.

Por que importa

Câmeras de punho são padrão em braços robóticos de pesquisa e comuns no picking industrial porque dão vistas precisas exatamente onde o contato acontece. Estudos de aprendizado a partir de demonstrações constataram que acrescentar uma vista de punho muitas vezes melhora o sucesso em tarefas de preensão e inserção em comparação com o uso apenas de câmeras fixas.

Principais aplicações

• Alinhamento na aproximação final para preensão e inserção
• Entradas de imagem para políticas de manipulação visuomotoras aprendidas
• Servocontrole visual olho na mão
• Seleção ativa de ponto de vista e escaneamento de objetos
• Inspeção de peças e detalhes a curta distância

Na prática

Uma equipe que coleta demonstrações teleoperadas para uma política de pick-and-place grava imagens de uma câmera fixa voltada para a mesa e de uma pequena câmera RGB presa à garra. Durante o treinamento, as duas vistas são fornecidas à política. Nos testes, a vista do punho permite que a política corrija pequenos erros de alinhamento logo antes de fechar a garra, algo que a câmera fixa distante não consegue resolver. Antes de coletar dados, a equipe faz uma calibração mão-olho movendo o braço por um conjunto de poses diante de um tabuleiro de xadrez, e acrescenta uma guia de cabos ao longo do antebraço para que o cabo da câmera não se prenda quando o punho gira.

Equívocos comuns

• Uma câmera de punho substitui uma câmera fixa da cena — sua vista estreita perde o contexto mais amplo, por isso muitos sistemas usam as duas
• A pose da câmera é conhecida assim que ela é montada — a transformação da câmera para o flange precisa ser estimada por calibração mão-olho e verificada após qualquer alteração no suporte
• Mais perto é sempre melhor — câmeras de profundidade têm uma distância mínima, e vistas muito próximas muitas vezes ficam ocluídas pelos dedos ou pelo próprio objeto
• As calibrações olho na mão e olho para a mão são o mesmo problema — a transformação desconhecida é diferente, ligando a câmera ao flange em um caso e à base do robô no outro

Quem deve saber

• Engenheiros de manipulação e de preensão
• Pesquisadores de aprendizado de robôs que coletam dados de demonstração
• Integradores de visão de máquina para células industriais
• Projetistas de ferramentas de fim de braço

Tecnologias relacionadas

• Calibração mão-olho (Hand-Eye Calibration)
• Câmeras RGB-D montadas no punho (Wrist-Mounted RGB-D Cameras)
• Servocontrole visual (Visual Servoing)
• Marcadores fiduciais (Fiducial Markers)
• Robomimic

Termos relacionados

• Visual Servoing
• RGB Camera
• Depth Camera
• End Effector
• Visuomotor Policy
• Gripper

Projetos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design