基于卷积神经网络的GFW加速调度算法(2019-09-16_19-19_read)1
需积分: 0 105 浏览量
2022-08-04
13:48:39
上传
评论
收藏 235KB PDF 举报
2019 年 软 件 2019, Vol. 40, No. 3
第 40 卷 第 3 期
COMPUTER ENGINEERING & SOFTWARE
国际 IT 传媒品牌
作者简介:
宋铁
(1992-)
，男，上海理工大学光电信息与计算机工程学院硕士，主要研究方向为
GPU
并行加速、深度学习。
基于卷积神经网络的 GFW 加速调度算法
宋 铁
(上海理工大学光电信息与计算机工程学院，上海 200093)
摘 要: 神经网络的广泛应用使得人们更加关注神经网络的训练，更高精度的要求给神经网络的训练带来了困
难，因此加速神经网络的训练成为了研究的重点。对于神经网络的训练中卷积层占据了大部分的训练时间，所以加
速卷积层的训练成为了加速神经网络的关键。本文提出了 GFW 加速调度算法，GFW 算法通过对不同卷积图像的大
小和卷积核的数量调用不同的卷积算法，以达到整体的最佳训练效果。实验中具体分析了 9 层卷积网络的加速训练，
实验结果显示，相比于 GEMM 卷积算法，GFW 算法实现了 2.901 倍的加速，相比于 FFT 算法 GFW 算法实现了 1.467
倍的加速，相比于 Winograd 算法，GFW 算法实现了 1.318 倍的加速。
关键词: 卷积神经网络；GEMM；FFT；Winograd 算法；GFW 调度算法
中图分类号: TP391; TP183 文献标识码: A DOI：10.3969/j.issn.1003-6970.2019.03.044
本文著录格式：宋铁. 基于卷积神经网络的 GFW 加速调度算法[J]. 软件，2019，40（3）：217-221
GFW Accelerated Scheduling Algorithm Based on
Convolutional Neural Network
SONG Tie
(School of Optical-Electrical and Computer Engineering, University of Shanghai
for Science and Technology, Shanghai, 200093, China)
【Abstract】: The wide application of neural networks makes people pay more attention to the training of neural
networks. The requirement of higher precision brings difficulties to the training of neural networks. Therefore, the
training of accelerated neural networks has become the focus of research. For the training of neural networks, the
convolutional layer occupies most of the training time, so the training of the accelerated convolution network be-
comes the key to accelerate the neural network. In this paper, the GFW accelerated scheduling algorithm is proposed.
The GFW algorithm calls different convolution algorithms on the size of different convolution images and the num-
ber of convolution kernels to achieve the overall optimal training effect. In the experiment, the acceleration training
of the 9-layer convolutional network is analyzed in detail. The experimental results show that compared with the
GEMM convolution algorithm, the GFW algorithm achieves 2.901 times acceleration; compared with the FFT algo-
rithm, the GFW algorithm achieves 1.467 times acceleration; Compared to the Winograd algorithm, the GFW algo-
rithm achieves a 1.318x acceleration.
【Key words】: Convolutional neural network; GEMM; FFT; Winograd algorithm; GFW scheduling algorithm
0 引言
自从深度学习被提出后，便迅速成为了研究的
热点。深度神经网络的应用使得图像分类，语音识
别和语言翻译等领域取得了很大的进步，并且在很
多方面已经超过了人类的识别能力。卷积神经网络
在图像和视频识别，推荐系统和自然语言处理等领
域取得了较好的效果，在本文中主要研究了卷积网
络训练与加速。
许多算法都被提出用以加速卷积神经网络的训
练，但是每个算法都有各自的优点和缺点，并且没
有一个算法可以处理所有情形的问题。在本文中，
我们在 GPU 环境下测试了不同算法对卷积神经网
络的加速性能。根据各个算法的特点和适合不同的
卷积输入图像的大小以及卷积核数量，我们对卷积
神经网络中不同的卷积层使用不用的调度策略以达
评论0