FPGA
- 又称: field-programmable gate array
- 类别: Control › Feedback control
- 标签: embedded-hardware, hardware-acceleration, edge-computing, real-time, neural-network-inference
现场可编程门阵列:一种由可配置逻辑、存储器和布线组成的芯片,通过加载配置被连成一个定制的数字电路,而不是运行程序。
定义
FPGA,即现场可编程门阵列(field-programmable gate array),是一种在制造完成后才定义其逻辑的集成电路。它包含由可编程布线连接的大量小型可配置逻辑块,这些逻辑块由查找表和触发器构成,此外还有片上 RAM、乘累加(DSP)单元、时钟管理器和高速 I/O 等专用模块。一个称为比特流的配置文件设定每个查找表和布线开关,使芯片表现为某个特定的数字电路。在大多数器件中,配置保存在易失性存储器中,并在上电时从闪存重新加载。
设计用 Verilog 或 VHDL 等硬件描述语言编写,或通过高层次综合用 C 或 C++ 编写,然后由厂商工具进行综合、布局和布线,这一过程可能需要几分钟到几小时。与执行指令的 CPU 或 GPU 不同,FPGA 把计算本身实现为硬件:许多操作在每个时钟周期并行运行,数据在流水线中流过,时序精确到时钟周期。时钟频率低于 CPU,片上存储器也很小,因此大型模型或数据必须从外部存储器流式读入,这限制了吞吐量。SoC FPGA(例如 Xilinx Zynq 系列)在一块芯片上把可编程逻辑与 ARM 处理器核结合起来,因此 Linux 和 ROS 可以在定制硬件旁边运行。
这些特性使 FPGA 在以下场合表现出色:延迟必须低且可预测、许多简单操作并行运行,或者数据位宽不常见。在机器人中,它们为电机驱动生成 PWM 并运行电流环、对编码器解码、读取并预处理相机、激光雷达和事件相机的数据流、计算立体视差,以及运行量化到低精度的神经网络。二值化神经网络尤其适合,因为它们的乘累加运算简化为 XNOR 和位计数逻辑,可直接映射到查找表上。
为何重要
机器人需要在靠近传感器和执行器的地方进行快速、确定性的处理,而且往往受到严格的功耗预算限制。FPGA 填补了几者之间的空白:微控制器可能太慢,GPU 功耗更高、延迟更难预测,而定制芯片(ASIC)在小批量生产时成本太高。
主要应用
- 电机驱动:PWM 生成、电流环和编码器解码
- 相机、激光雷达和事件相机数据的低延迟预处理
- 小型机器人上用于视觉里程计的立体深度和特征提取
- 嵌入式机器人上的量化与二值化神经网络推理
- CNC 机床和工业运动控制的实时 I/O
- 空间机器人的抗辐射处理
实际应用
一台人形机器人的手眼处理流水线运行在一块 SoC FPGA 板上。ARM 核运行 Linux 和用于高层控制的 ROS 节点,而可编程逻辑中则承载一条流水线:它直接接收相机帧、调整其尺寸,并送入一个部分二值化的自编码器,其权重可以放进片上 RAM。工程师先在软件中量化网络,检查精度是否保持,然后用高层次综合工具生成硬件并验证时序。潜在特征每一帧都以固定延迟到达控制器,功耗只有 GPU 的一小部分,但对网络的每次改动都意味着要再运行一次综合。
常见误解
- FPGA 像一个快速处理器那样运行你的程序 — 它被配置成一个电路;软件只能通过处理器核在其上运行,这些核可以是硬核,也可以用可编程逻辑构建
- FPGA 总是比 GPU 快 — 在大型浮点工作负载上通常是 GPU 胜出,而 FPGA 在延迟、确定性和低精度流式处理上胜出
- 修改 FPGA 设计就像重新编译软件 — 综合和布局布线很慢,而且设计必须满足时序
- 片上存储器很充裕 — 它很小,因此大型网络需要外部存储器或激进的量化
谁需要了解
- 设计机器人控制器的嵌入式和电子工程师
- 把处理流水线迁移到低功耗硬件上的感知工程师
- 在机器人上部署量化神经网络的研究人员
- 电机驱动和运动控制设计者
相关技术
- Verilog 与 VHDL
- 高层次综合(HLS)
- SoC FPGA,例如 Xilinx Zynq
- FINN 二值化神经网络框架
- GPU
- ASIC
相关术语
相关项目
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- Cartographer: Google's real-time 2D and 3D SLAM system for multi-platform robotics
- FAST-LIVO2: Fast, direct LiDAR-inertial-visual odometry from HKU-MARS, published in IEEE T-RO
- Dora AI: Dataflow middleware for AI robotics applications, built in Rust
- OpenMind OM1: AI-native operating system for robots with modular perception, cognition, and action
- Fast DDS: eProsima's high-performance DDS middleware — the default transport under ROS 2
视频
- EEVblog #496 - What Is An FPGA?: EEVblog
- Introduction to FPGA Part 1 - What is an FPGA? | Digi-Key Electronics: DigiKey