FPGA
- Auch genannt: field-programmable gate array
- Kategorie: Control › Feedback control
- Schlagwörter: embedded-hardware, hardware-acceleration, edge-computing, real-time, neural-network-inference
Ein field-programmable gate array: ein Chip aus konfigurierbarer Logik, Speicher und Verbindungen, der durch Laden einer Konfiguration zu einer eigenen digitalen Schaltung verschaltet wird, statt ein Programm auszuführen.
Definition
Ein FPGA (field-programmable gate array) ist ein integrierter Schaltkreis, dessen Logik erst nach der Fertigung festgelegt wird. Er enthält ein großes Feld kleiner konfigurierbarer Logikblöcke aus Lookup-Tabellen und Flipflops, die über programmierbare Verbindungen verschaltet sind, dazu dedizierte Blöcke wie On-Chip-RAM, Multiplizier-Akkumulier-Einheiten (DSP), Taktmanager und schnelle I/O. Eine Konfigurationsdatei, der Bitstream, setzt jede Lookup-Tabelle und jeden Verbindungsschalter so, dass sich der Chip wie eine bestimmte digitale Schaltung verhält. Bei den meisten Bausteinen liegt die Konfiguration in flüchtigem Speicher und wird beim Einschalten aus dem Flash neu geladen.
Entwürfe werden in Hardwarebeschreibungssprachen wie Verilog oder VHDL geschrieben oder über High-Level-Synthese in C oder C++, und dann von den Werkzeugen des Herstellers synthetisiert, platziert und geroutet, ein Vorgang, der Minuten bis Stunden dauern kann. Anders als eine CPU oder GPU, die Befehle ausführt, setzt ein FPGA die Berechnung selbst als Hardware um: Viele Operationen laufen in jedem Taktzyklus parallel, Daten strömen durch Pipelines, und das Zeitverhalten ist auf den Taktzyklus festgelegt. Die Taktraten liegen unter denen von CPUs, und der On-Chip-Speicher ist klein, sodass große Modelle oder Daten aus externem Speicher gestreamt werden müssen, was den Durchsatz begrenzt. SoC-FPGAs wie die Xilinx-Zynq-Familie vereinen die programmierbare Logik mit ARM-Prozessorkernen auf einem Chip, sodass Linux und ROS neben eigener Hardware laufen können.
Diese Eigenschaften machen FPGAs stark, wo die Latenz niedrig und vorhersagbar sein muss, wo viele einfache Operationen parallel laufen oder wo Daten ungewöhnliche Bitbreiten haben. In der Robotik erzeugen sie PWM und betreiben Stromregelkreise für Motortreiber, dekodieren Encoder, lesen und verarbeiten Datenströme von Kameras, LiDAR und Event-Kameras vor, berechnen Stereodisparitäten und führen auf niedrige Präzision quantisierte neuronale Netze aus. Binarisierte neuronale Netze passen besonders gut, weil sich ihre Multiplizier-Akkumulier-Operationen auf XNOR- und Bitzähl-Logik reduzieren, die sich direkt auf Lookup-Tabellen abbilden lässt.
Warum es wichtig ist
Roboter brauchen schnelle, deterministische Verarbeitung nahe an Sensoren und Aktoren, oft innerhalb eines knappen Leistungsbudgets. FPGAs füllen die Lücke zwischen Mikrocontrollern, die zu langsam sein können, GPUs, die mehr Leistung aufnehmen und eine weniger vorhersagbare Latenz haben, und eigenen Chips (ASICs), deren Herstellung in kleinen Stückzahlen zu teuer ist.
Wichtige Anwendungen
- Motortreiber: PWM-Erzeugung, Stromregelkreise und Encoder-Dekodierung
- Vorverarbeitung von Kamera-, LiDAR- und Event-Kamera-Daten mit niedriger Latenz
- Stereotiefe und Merkmalsextraktion für visuelle Odometrie auf kleinen Robotern
- Inferenz quantisierter und binarisierter neuronaler Netze auf eingebetteten Robotern
- Echtzeit-I/O für CNC-Maschinen und industrielle Bewegungssteuerung
- Strahlungstolerante Verarbeitung für die Weltraumrobotik
In der Praxis
Die Hand-Auge-Pipeline eines Humanoiden läuft auf einer SoC-FPGA-Platine. Die ARM-Kerne führen Linux und ROS-Knoten für die übergeordnete Steuerung aus, während die programmierbare Logik eine Pipeline enthält, die Kamerabilder direkt empfängt, ihre Größe ändert und sie in einen teilweise binarisierten Autoencoder speist, dessen Gewichte in den On-Chip-RAM passen. Die Ingenieure quantisieren das Netz zuerst in Software, prüfen, dass die Genauigkeit erhalten bleibt, erzeugen dann die Hardware mit einem High-Level-Synthese-Werkzeug und verifizieren das Timing. Die latenten Merkmale erreichen den Regler in jedem Bild mit fester Verzögerung, bei einem Bruchteil der Leistung, die eine GPU aufnehmen würde, aber jede Änderung am Netz bedeutet einen weiteren Syntheselauf.
Häufige Missverständnisse
- Ein FPGA führt Ihr Programm aus wie ein schneller Prozessor — er wird zu einer Schaltung konfiguriert; Software läuft auf ihm nur über Prozessorkerne, fest eingebaut oder aus der programmierbaren Logik aufgebaut
- FPGAs sind immer schneller als GPUs — bei großen Gleitkomma-Lasten gewinnen meist GPUs, während FPGAs bei Latenz, Determinismus und Streaming mit niedriger Präzision gewinnen
- Einen FPGA-Entwurf zu ändern ist wie Software neu zu kompilieren — Synthese sowie Platzierung und Routing sind langsam, und Entwürfe müssen das Timing einhalten
- On-Chip-Speicher ist reichlich vorhanden — er ist klein, daher brauchen große Netze externen Speicher oder eine aggressive Quantisierung
Wer das wissen sollte
- Embedded- und Elektronikingenieure, die Robotersteuerungen entwerfen
- Wahrnehmungsingenieure, die Pipelines auf stromsparende Hardware verlagern
- Forscher, die quantisierte neuronale Netze auf Robotern einsetzen
- Entwickler von Motortreibern und Bewegungssteuerungen
Verwandte Technologien
- Verilog und VHDL
- High-Level-Synthese (HLS)
- SoC-FPGAs wie Xilinx Zynq
- FINN-Framework für binarisierte neuronale Netze
- GPU
- ASIC
Verwandte Begriffe
Verwandte Projekte
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
- Dora AI: Dataflow middleware for AI robotics applications, built in Rust
- OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action
- Fast DDS: eProsima's high-performance DDS middleware — the default transport under ROS 2
Videos
- EEVblog #496 - What Is An FPGA?: EEVblog
- Introduction to FPGA Part 1 - What is an FPGA? | Digi-Key Electronics: DigiKey