FPGA
- 別名: field-programmable gate array
- カテゴリ: Control › Feedback control
- タグ: embedded-hardware, hardware-acceleration, edge-computing, real-time, neural-network-inference
フィールドプログラマブルゲートアレイ。構成可能なロジック、メモリ、配線からなるチップで、プログラムを実行するのではなく、コンフィギュレーションを読み込むことで独自のデジタル回路として結線される。
定義
FPGA(field-programmable gate array)は、製造後にロジックを定義できる集積回路である。ルックアップテーブルとフリップフロップから構成される小さな構成可能論理ブロックの大規模なアレイを、プログラマブルな配線でつないだもので、オンチップ RAM、積和演算(DSP)ユニット、クロックマネージャ、高速 I/O などの専用ブロックも備える。ビットストリームと呼ばれるコンフィギュレーションファイルが、すべてのルックアップテーブルと配線スイッチを設定し、チップを特定のデジタル回路として振る舞わせる。ほとんどのデバイスでは、コンフィギュレーションは揮発性メモリに保持され、電源投入時にフラッシュから再ロードされる。
設計は Verilog や VHDL などのハードウェア記述言語で、あるいは高位合成を通じて C や C++ で記述され、その後ベンダーのツールで論理合成、配置、配線が行われる。この工程には数分から数時間かかることがある。命令を実行する CPU や GPU と異なり、FPGA は計算そのものをハードウェアとして実装する。多くの演算がクロックサイクルごとに並列に実行され、データはパイプラインを流れ、タイミングはクロックサイクル単位で固定される。クロック周波数は CPU より低く、オンチップメモリは小さいため、大きなモデルやデータは外部メモリからストリーミングしなければならず、それがスループットを制限する。Xilinx Zynq ファミリなどの SoC FPGA は、プログラマブルなファブリックと ARM プロセッサコアを 1 チップに統合しており、Linux や ROS をカスタムハードウェアと並べて動かせる。
こうした性質から、FPGA はレイテンシが低く予測可能でなければならない場面、多数の単純な演算が並列に走る場面、データのビット幅が特殊な場面で強みを発揮する。ロボティクスでは、モータードライブ用の PWM 生成と電流ループの実行、エンコーダーのデコード、カメラ、LiDAR、イベントカメラのストリームの読み取りと前処理、ステレオ視差の計算、低精度に量子化したニューラルネットワークの実行に使われる。二値化ニューラルネットワークはとくに相性がよい。その積和演算は XNOR とビットカウントの論理に帰着し、ルックアップテーブルに直接マッピングできるからである。
重要な理由
ロボットには、センサーやアクチュエータの近くで、しばしば厳しい電力予算の中で、高速かつ決定論的な処理が必要である。FPGA は、速度が足りないことのあるマイコン、消費電力が大きくレイテンシの予測が難しい GPU、少量生産ではコストがかかりすぎる専用チップ(ASIC)の間の隙間を埋める。
主な用途
- モータードライブ:PWM 生成、電流ループ、エンコーダーのデコード
- カメラ、LiDAR、イベントカメラのデータの低レイテンシ前処理
- 小型ロボットでの視覚オドメトリ向けのステレオ深度と特徴抽出
- 組込みロボットでの量子化・二値化ニューラルネットワークの推論
- CNC 工作機械や産業用モーション制御のリアルタイム I/O
- 宇宙ロボティクス向けの耐放射線処理
実際の使われ方
あるヒューマノイドのハンドアイのパイプラインは SoC FPGA ボード上で動く。ARM コアは Linux と上位制御用の ROS ノードを実行し、ファブリックには、カメラフレームを直接受け取ってリサイズし、重みがオンチップ RAM に収まる部分的に二値化したオートエンコーダに入力するパイプラインが置かれる。エンジニアはまずソフトウェアでネットワークを量子化して精度が保たれることを確認し、次に高位合成ツールでハードウェアを生成してタイミングを検証する。潜在特徴は毎フレーム一定の遅延でコントローラに届き、消費電力は GPU の数分の一だが、ネットワークを変更するたびに論理合成をやり直す必要がある。
よくある誤解
- FPGA は高速なプロセッサのようにプログラムを実行する — 回路として構成されるものであり、ソフトウェアはハードコアまたはファブリックで構築したプロセッサコアを介してのみその上で動く
- FPGA は常に GPU より速い — 大規模な浮動小数点の処理では通常 GPU が勝ち、FPGA はレイテンシ、決定性、低精度のストリーミング処理で勝る
- FPGA の設計変更はソフトウェアの再コンパイルと同じようなものだ — 論理合成と配置配線は時間がかかり、設計はタイミングを満たさなければならない
- オンチップメモリは豊富にある — 小さいので、大きなネットワークには外部メモリか積極的な量子化が必要になる
知っておくべき人
- ロボットコントローラを設計する組込み・エレクトロニクスエンジニア
- パイプラインを低消費電力のハードウェアへ移す知覚エンジニア
- 量子化ニューラルネットワークをロボットに展開する研究者
- モータードライブやモーション制御の設計者
関連技術
- Verilog と VHDL
- 高位合成(HLS)
- Xilinx Zynq などの SoC FPGA
- FINN 二値化ニューラルネットワークフレームワーク
- GPU
- ASIC
関連用語
関連プロジェクト
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
- Dora AI: Dataflow middleware for AI robotics applications, built in Rust
- OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action
- Fast DDS: eProsima's high-performance DDS middleware — the default transport under ROS 2
動画
- EEVblog #496 - What Is An FPGA?: EEVblog
- Introduction to FPGA Part 1 - What is an FPGA? | Digi-Key Electronics: DigiKey