FPGA异构计算现状及优化 (2).pdf

【FPGA异构计算现状及优化】 随着互联网的飞速发展和大数据的爆炸式增长，传统的CPU计算能力已经无法满足数据中心日益增长的计算需求。在这样的背景下，异构计算成为了应对这一挑战的关键技术。其中，“CPU+GPU”和“CPU+FPGA”成为最受瞩目的异构计算平台，它们在效率和延迟方面都显著优于传统的CPU并行计算。 FPGA（Field-Programmable Gate Array）因其高度的灵活性和可编程性，特别适合于快速演进的机器学习（ML）算法，如深度神经网络（DNN）、卷积神经网络（CNN）、长短时记忆（LSTM）等。相比GPU和CPU，FPGA在实时AI服务中提供了数量级的低延迟和高能效性能。 然而，FPGA的开发难点在于使用硬件描述语言（HDL）进行编程，这导致开发周期长且门槛高。例如，针对经典模型如AlexNet和GoogLeNet的定制加速通常需要数月时间。为了克服这个问题，业界开始研发通用的CNN FPGA加速器。 通用CNN FPGA加速器的设计目标是缩短开发周期，同时保持高性能和低延迟。它采用编译器生成指令的方式驱动模型加速，使得模型切换能够在短时间内完成。对于新兴的深度学习算法，可以在通用基础版本上快速进行算子的开发和迭代，将原来的数月开发时间缩短至一到两周。 通用CNN FPGA架构包括以下几个核心部分： 1. **模型转换与编译**：训练好的CNN模型（如Caffe、TensorFlow或Mxnet框架）经过编译器的优化，生成高效执行的指令集。 2. **数据预处理**：图片数据和模型权重数据被预处理和压缩，通过PCIe接口发送到FPGA加速器。 3. **指令驱动执行**：FPGA加速器根据指令缓冲区中的指令集进行工作，一次性执行完整指令即可完成一张图片的深度模型计算。 4. **模块化设计**：每个功能模块独立，只负责各自的计算任务，层间的数据依赖和执行顺序由指令集控制。 以GoogLeNet V1为例，Inception模块的网络结构允许进行流水线设计和并行计算优化。通过分析数据依赖关系，可以实现数据加载与计算的流水线，减少内存访问时间，同时提高DSP计算单元的利用率。分支间的并行计算，如branch a/b/c的1x1卷积与branch d的池化操作，可以同时执行，从而充分利用计算资源。 FPGA异构计算通过优化设计，实现了对深度学习模型的高效加速，缩短了开发周期，同时提供了与GPU竞争的性能和低延迟优势。随着编译器技术的进步和工具链的完善，FPGA在AI领域的应用将会更加广泛，成为构建强大实时AI服务的关键技术。