Extrinsic Calibration

• Também chamado: extrinsics, extrinsic parameters
• Categoria: Foundations & spatial maths › Frames & transforms
• Tags: calibration, sensors, coordinate-frames, hand-eye, sensor-fusion

Encontrar a pose de corpo rígido de um sensor em relação ao robô ou a outro sensor, para que as medições possam ser colocadas em um sistema de coordenadas comum.

Definição

Calibração extrínseca (extrinsic calibration) estima a posição e a orientação, uma transformação rígida em SE(3), de um sensor em relação a alguma referência: a base do robô, o efetuador final, a carroceria de um veículo ou outro sensor. Ela é separada da calibração intrínseca, que modela o que acontece dentro de um sensor, como a distância focal ou a distorção da lente de uma câmera. Sem parâmetros extrínsecos precisos, um ponto detectado por uma câmera não pode ser posicionado corretamente no referencial do robô, e os dados de vários sensores não podem ser fundidos.

Os métodos dependem dos sensores envolvidos. Uma câmera na mão (eye-in-hand camera) descreve onde uma câmera está montada; a calibração extrínseca é o procedimento que mede exatamente onde essa montagem a coloca. Para uma câmera em um braço robótico, a calibração mão-olho (hand-eye calibration) leva o braço a muitas poses enquanto a câmera observa um alvo fixo e resolve a equação AX = XB, em que A e B são movimentos relativos da garra e da câmera e X é a transformação desconhecida; Tsai e Lenz (1989) deram uma solução amplamente usada. A mesma equação com termos diferentes trata o caso de uma câmera fixa olhando para um alvo segurado pela garra. A calibração câmera-LiDAR normalmente associa características de um alvo, como planos ou bordas de um tabuleiro, vistas pelos dois sensores. A calibração câmera-IMU, como na caixa de ferramentas Kalibr, estima a transformação e o deslocamento temporal entre os sensores a partir de uma trajetória contínua. Muitos sistemas depois refinam os parâmetros extrínsecos online dentro de um estimador de estado.

Pequenos erros extrínsecos têm grandes efeitos. Um erro angular de meio grau desloca um ponto a um metro de distância em quase 9 mm, o suficiente para errar uma preensão ou desalinhar um mapa fundido. Os valores do CAD dão um ponto de partida, mas raramente correspondem ao robô construído, e os suportes se deslocam com impactos, temperatura e manutenção. A boa prática é coletar dados de calibração em uma ampla variedade de poses, verificar o resultado medindo o erro de reprojeção ou de alinhamento em dados separados e verificar de novo após qualquer mudança mecânica.

Por que importa

Todo robô que combina sensoriamento com movimento ou com outros sensores depende da calibração extrínseca. Ela decide se uma detecção da câmera cai onde a garra vai, se os dados do LiDAR e da câmera se alinham e se uma estimativa de estado fundida é consistente.

Principais aplicações

• Calibração mão-olho para câmeras montadas no punho e câmeras fixas
• Alinhamento câmera-LiDAR em veículos e robôs móveis
• Calibração câmera-IMU para odometria visual-inercial
• Conjuntos multicâmera para captura de movimento e reconstrução 3D
• Registro de câmeras fixas em relação a uma célula de trabalho robótica

Na prática

Um laboratório monta uma câmera de profundidade no punho de um robô para preensão. A equipe imprime um tabuleiro ChArUco, fixa-o na mesa e move o braço por cerca de 25 poses que cobrem rotações diferentes, registrando em cada uma a pose do efetuador final pela cinemática direta e a pose do tabuleiro pela câmera. Um solucionador mão-olho retorna a transformação da câmera para o flange. Para validá-la, a equipe funde imagens de profundidade de várias poses do punho em uma única nuvem de pontos; com uma boa calibração, a mesa e os objetos se alinham, enquanto com uma ruim as superfícies aparecem duplicadas. A equipe também toca os cantos do tabuleiro com a ponta da garra e compara essas posições com a estimativa da câmera, aceitando a calibração quando o erro é de poucos milímetros.

Equívocos comuns

• As dimensões do CAD são suficientes — tolerâncias de fabricação e erros de montagem fazem os parâmetros extrínsecos medidos diferirem dos valores de projeto
• A calibração é feita uma vez só — os suportes se deslocam com o tempo, então os parâmetros extrínsecos devem ser verificados de novo após impactos ou mudanças de hardware
• A calibração extrínseca e a intrínseca são a mesma etapa — os parâmetros intrínsecos modelam o próprio sensor, os extrínsecos sua pose; erros em qualquer um deles corrompem o outro se forem resolvidos em conjunto
• Só a transformação espacial importa — para sensores em movimento, um deslocamento temporal entre fluxos de dados causa erros semelhantes aos de uma pose errada

Quem deve saber

• Engenheiros de percepção e integração robótica
• Engenheiros de sensores para veículos autônomos
• Desenvolvedores de estimação de estado e SLAM
• Pesquisadores que montam bancadas de teste de manipulação

Tecnologias relacionadas

• Kalibr
• Calibração mão-olho do OpenCV (OpenCV Hand-Eye Calibration)
• Tabuleiros ChArUco e AprilTag (ChArUco and AprilTag Boards)
• MoveIt Calibration
• ROS tf2

Termos relacionados

• Eye-in-Hand Camera
• Camera Intrinsics
• Transform
• Coordinate Frame
• Sensor Fusion
• Forward Kinematics

Projetos relacionados

• FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
• GTSAM: Factor-graph optimization library powering many modern SLAM backends
• AprilTag: The standard visual fiducial marker system for robot localization and pose estimation
• Gazebo: Industry-standard open-source robotics simulator with multi-physics and ROS integration
• image_pipeline: The standard ROS camera stack: calibration, rectification, stereo and depth

Vídeos

• Camera Intrinsics and Extrinsics - 5 Minutes with Cyrill: Cyrill Stachniss
• OpenCV Python Camera Calibration (Intrinsic, Extrinsic, Distortion): Kevin Wood | Robotics & AI