基于FPGA和卷积神经网络量化的语音分类加速器1

基于 FPGA 和卷积神经网络量化的语音分类加速器

*

温 冬，姜晶菲，窦 勇，许金伟，肖 滔

（国防科技大学计算机学院， 湖南 长沙 410073）

摘 要：传统的卷积神经网络在执行语音分类任务时存在模型存储规模大、浮点数值格式算力需

求高的问题，限制了算法在低功耗和高吞吐率场景下的应用。通过对网络参数进行二值化处理、

A Speech Classification Accelerator Based on FPGA

and demand for extensive computing power due to floating data type when handling speech

classification tasks, thus limiting it’s use under low-power and high-throughput circumstance. Turning

parameter into binary format and turning activation data into fix-point format can reduce neural

收稿日期：****–**–**;；修回日期：****–**–**

基金项目：核高基国家重大专项（编号：2018ZX01028101）

通迅地址：410073 湖南省长沙市国防科技大学计算机学院 姜晶菲 jingfeijiang@nudt.edu.cn

Address: School of Computer, National University of Defense Technology, Changsha 410073, Hunan ,

P.R.China

自从 Deng、Yu 等人[1]将 RNN（循环神经网络）和 LSTM（长短期记忆）模型引入声学

问题领域以来，RNN 在语音识别和声音分类领域取得了一系列性能上的突破。然而，基于

RNN 的深度神经网络结构复杂，其大量循环时序计算难以训练和并行化，限制了 RNN 模型

然而，传统高性能平台在部署卷积神经网络算法模型时存在两个重要的障碍: 功耗和速

度。高性能 CPU 可以在比 GPU 更低的功耗下运行，但其较低的计算并行度无法高效地处理

计算密集型的卷积运算。另一方面，高并行度的 GPU 可以更快地运行卷积神经网络，但它

CPU 和 GPU 平台很不友好。浮点数据需要更大的存储字长和更多的计算功能部件，这就导

式的计算复杂度决定了设计者很难通过硬件设计或算法改进减少计算周期数。

与 GPU 和 CPU 平台相比，ASIC（专用集成电路）和 FPGA（现场可编程逻辑门阵列）

ASIC 和 FPGA 通过设置与量化模型相同的数据位宽与数据格式、设计不同层次的流水线、

扩展并行度，进而达到更好的计算性能和更低的运行功耗。在运行卷积神经网络模型时，ASIC

而 FPGA 由于其可配置的特点和成熟的工业设计，可以在性能、功耗和成本之间保持较好的

平衡，因此很适合作为卷积神经网络的加速平台。

在前人工智能时代，FPGA 被广泛用于数据中心的网络通信加速、云服务器操作系统虚

拟化和生物科学计算加速等。而在人工智能时代，功耗低面积小的 FPGA 不仅可以为边缘端

优化压缩设计。该网络权值为+1 或-1，原始的激活数据为全精度浮点数据格式，网络由两个

卷积层和三个全连接层构成[6]。我们用 FPGA 硬件资源实现了该二值权重网络（BWN）声

音分类模型的定制加速器，与目前先进的 CPU 平台相比，实现了 18-300 倍的吞吐率加速比

和较低的运行功耗。本文的主要工作如下:

我们利用 Matlab 的内置量化函数和设计空间探索方法将一个声音分类卷积神经网络的浮

点型激活值数据逐层地转化为定点数据，FPGA 平台上的定点计算性能弥补了定点数据的精

度损失。

衡流水线结构和卷积神经网络层间低延迟流水线设计。

我们在 CPU 平台上进行了单线程、多线程和多节点环境下的目标声音分类模型的性能测

试，得到了多组高性能 CPU 平台上的基准性能数据。与上述测试结果相比，我们的设计在性

FPGA 硬件平台而言，加减电路也比乘法器更易设计和实现。

另外，[7]中提出了将神经网络运行中的激活值数据也全部转化为二值格式的方法。与训

图 1 卷积神经网络结构

当模型训练完成、参数数值都确定之后，我们利用 tanh 函数将数值分布没有约

束范围的浮点权值约束到（-1，1）的范围，然后使用一系列放缩与映射的方法将浮