Eye-in-Hand Camera

• 別名: wrist-mounted camera, wrist camera, hand camera
• カテゴリ: Sensing › Exteroceptive
• タグ: cameras, manipulation, hand-eye-calibration, end-of-arm-tooling, robot-learning

ロボットの手首やエンドエフェクタに取り付けられ、グリッパーとともに動くカメラ。手がこれから触れるものを間近から見せる。

定義

アイインハンドカメラ（eye-in-hand camera）は、ロボットの手首、フランジ、またはグリッパーに取り付けられ、その視点がエンドエフェクタとともに動くカメラである。もう一つの方式であるアイトゥハンド（eye-to-hand）カメラは、ワークセル内やロボットの頭部・ベースに固定され、外からアームを見る。多くのシステムは両方を組み合わせ、固定カメラでシーンの全体像を、手首カメラで最終的なアプローチを担う。

手首の位置にはいくつかの利点がある。カメラは肝心な瞬間に物体を近くから見るので、小さな特徴や位置合わせの誤差が高い解像度で見える。視界はグリッパーに対しておおむね一定であり、画像特徴量と必要なグリッパー運動の関係が単純になる。これがアイインハンドのビジュアルサーボ（visual servoing）の基礎であり、学習によるマニピュレーションポリシーでは、物体がシーンのどこにあるかに対して振る舞いが鈍感になることが多い。カメラを動かして遮蔽物の向こうをのぞいたり、物体を複数の側面からスキャンしたりすることもできる。代償としては、狭く絶えず変化する視野のために広いシーンを見失うこと、グリッパー自身の指や把持した物体による遮蔽、速い動作中のモーションブラー、グリッパーが物体に最も近づいたときには長すぎることがある最短焦点距離や深度レンジ、そして手首に加わるケーブルと質量がある。

カメラの画像をロボット座標で使うには、ハンドアイキャリブレーション（hand-eye calibration）、すなわちカメラとフランジの間の固定変換の推定が必要である。標準的な定式化である AX = XB は、キャリブレーションターゲットに対して観測したカメラの運動と、順運動学から得た対応するフランジの運動とを比較する。Tsai と Lenz は 1989 年に広く使われている解法を発表した。この変換の誤差はそのまま把持のずれとして現れるため、カメラのマウントを交換したりぶつけたりしたときには、そのたびにキャリブレーションをやり直す。

重要な理由

手首カメラは、接触が起こるまさにその場所の精密な視界を与えるため、研究用ロボットアームでは標準的であり、産業用のピッキングでも一般的である。デモンストレーションからの学習に関する研究では、手首の視点を加えると、固定カメラだけの場合に比べて把持や挿入のタスクの成功率が上がることが多いとわかっている。

主な用途

• 把持と挿入のための最終アプローチでの位置合わせ
• 学習による視覚運動マニピュレーションポリシーへの画像入力
• アイインハンドのビジュアルサーボ
• 能動的な視点選択と物体のスキャン
• 部品や特徴の近距離での検査

実際の使われ方

ピックアンドプレースのポリシーのために遠隔操作のデモンストレーションを収集しているチームは、テーブルに向けた固定カメラと、グリッパーにクリップで留めた小型の RGB カメラの画像を記録する。訓練では両方の視点をポリシーに入力する。テストでは、手首の視点のおかげで、ポリシーはグリッパーを閉じる直前に小さな位置合わせの誤差を補正できる。離れた固定カメラではそれを見分けられない。データ収集の前に、チームはチェッカーボードの前でアームを一連の姿勢に動かしてハンドアイキャリブレーションを行い、手首が回転してもカメラのケーブルが引っかからないよう、前腕に沿ってケーブルガイドを取り付ける。

よくある誤解

• 手首カメラは固定のシーンカメラの代わりになる — 視野が狭く広い文脈を失うため、多くのシステムは両方を使う
• カメラの姿勢は取り付けた時点でわかっている — カメラとフランジ間の変換はハンドアイキャリブレーションで推定しなければならず、マウントに変更があれば確認が必要である
• 近いほど常によい — 深度カメラには最短距離があり、ごく近い視界は指や物体そのものに遮られることが多い
• アイインハンドとアイトゥハンドのキャリブレーションは同じ問題である — 未知の変換が異なり、前者はカメラとフランジを、後者はカメラとロボットのベースを結ぶ

知っておくべき人

• マニピュレーションと把持のエンジニア
• デモンストレーションデータを収集するロボット学習の研究者
• 産業用セルのマシンビジョンインテグレータ
• エンドエフェクタの設計者

関連技術

• ハンドアイキャリブレーション（Hand-Eye Calibration）
• 手首搭載型 RGB-D カメラ（Wrist-Mounted RGB-D Cameras）
• ビジュアルサーボ（Visual Servoing）
• フィデューシャルマーカー（Fiducial Markers）
• Robomimic

関連用語

• Visual Servoing
• RGB Camera
• Depth Camera
• End Effector
• Visuomotor Policy
• Gripper

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design