论文研究-基于卷积神经网络的药片表面缺陷检测 .pdf

所需积分/C币:50 2019-08-23 23:22:55 373KB .PDF
86
收藏 收藏
举报

基于卷积神经网络的药片表面缺陷检测,杨旭东,周学成,药片缺陷检测是保证药品质量的重要手段。人工检测存在成本高、效率低、主观性强等问题,而基于模式识别的传统的机器视觉方法虽然
山国利技论文在线 http://www.paper.edu.cn 70 型训练过程中岀现过拟合现象。扩展后的数据集包含每类图像120张,共计4800张药片图 像。然后按照3:1的比例划分,把数据集划分为训练集和测试集,为了充分利用测试集中的 数据,在模型训练过程中,将测试集作为验证集使用。 a)合格 b)破损 划痕 污渍 图3预处理后的图像 75 Fig 3 Preprocessed image 1.2模型架构 卷积神经网络主要由卷积层组成,而卷积层则是由一定数量的卷积核组成[8]。卷积核本 质上就是卷积神经网络中的权值矩阵[9,10,使用较小的卷积核可以提高卷积神经网络模型 旳深度,提高模型的复杂度,改善模型性能。ⅤGG闷终模型以使用3×3的卷积核,增加了 模型的深度,使模型能够提取更高级的图像特征。木文以ⅤGG模型为基础,结合所要解决 的实际问题对VGG稍作改动,使用网络层数低」GG模型的 Minivgo模型检测药片表面 缺陷,减少模型层数能够减少模型复尔度,从而抑制模型训练过程中的过拟合现象;同吋能 够减少模型参数,加速训练过程,节约计算资源。 Minivgc模型的基本框架和各网络层输 85、输出数据维度如图4所示 Inputlay Linput: (None, 64 64.3) iput:|(Nonc,32,32,64) output(None, 64, 64, 3) Max Pooling put(Nune,16,16,64) CONV+ReLU iput:|(None,16,16,64 +Bn output(Nonc, 64, 64, 32) Dropout output(Nonc, 16, 16, 64) CONV+Relu input: (None, 64, 64, 32 Flatten/mput: (None, 16, 16, 64) BN output:(None,6464,32) output:(None. 1638 Max Pool nput:|(None,64,64,32) Dcnsc+RcLL input: (Nonc, 16384 atpu( +BN input: (None, 512) Dropout input: (None, 32, 32 output(None,32,3. D output(Nonc,512) CONV+ReLu input: [(None, Dense outpu t:|(None,512) output: (None, 32, 32 (None,4) CONV+Relu input: (None. 32, 32, 64) 32,32.64) Softmaxl input:(Nonc. 4) 图4 Minivgg模型 Fig Mining 12.1卷积层 養积层通过眷积操作提取输入数据的局部特征。在特征提取的过程中,卷积核每次与输 入数据的一个子区域进行卷积运算,使模型更加关注特征的存在信息,降低了模型对特征位 山国利技论文在线 http://www.paper.edu.cn 置信息的敏感性,从而使模型具备了定程度的平栘、旋转和尺度不变性。同吋,输入数据 共用相同的卷积核,这种共享策略大大降低了模型的参数数量,有效提髙了模型的性能。 卷积运算是一种求加权和的运算,具有局限性,无法提取输入数据的非线性特征。而激 95 活函数是一种非线性函数,模型通过激活函数引入非线性,从而提取输入数据的非线性特征 为了提高网终性能,本文模型中除最后一层激活函数外,其氽激活函数都选择RcU函数[1 最后一层激活函数选择使用 softmax逻辑回归( softmax regression进行分类。全连接层 仝连接层一般位于CNN的尾部,对前面卷积层、下采样层等多层提取的高级特征进行回归 分类等处理。为∫提高模型性能,全连接层的激活函数一般采用ReLU函数。对于分类任 100 务,末尾的全连接层的输出数据破传递给一个输出层进行分类,用丁分类的输出层一般使用 softax逻辑回归( softmax regression)进行分类,因此该输出层也被称为 softmax层。 122批标准化层( Batch normalization) 模垩的训练和测试都是建立在数据满足独立同分布假设的基础之上的,但是在实践中, 在神经网络的训练过程中,各隐藏层的参数不断更新变化当中,导致隐藏层的输入分布发生 105 偏移或者变动,输入数据的壑体分布逐渐靠近激活函数的饱和区域,这不仅不符合独立同分 布偎改,也是神经树络收敛速度降低的根本原因。为∫解决这个问,在模型中加入批标准 化层( Batch normalization)12]。批标准化层通过对数据进行标准化处理,使神经网络各隐减 层的输入数据满足独立同分布假设,并且使输入数据的整体分布处丁激活函数的非饱和区域, 加快神经网终的收敛速度:同吋还能起到抑制过拟合的作用。 Sergey在初次使用批标准化的 110 时,将批标准化层放在激活函数之前,但是在实践中发现,有时批标准化层放在激活函数之 后能够得到更好的结果。通过对比试验,针对药片表面缺陷检测将批标准化层放在激活函数 之后能够得到更高的分类准确率,因此,文中的 Minivgg模型选择批标准化放置在激活凶 数之后的策略。 123池化层 115 池化层的作用主要有三个:1)引入特征不变性,2)特祉降维,3)提高模型的泛化性能, 防止过拟合。常用的池化操作有 Average pooling、 Max pooling和 Stochastic pooling13,14]。 其中, Average pooling指定下采样区域的均值进行下采样操作; Max pooling指定下采样区 域的最大值进行下采样; Stochastic pooling在者的基础上引入随机性,根据下采样区域的 概率分布进行下采烊操作。针对文中具体的检测任务, Miniygg模型使用 Max pooling策略 120 进行下采样操作。 124 Dropout层 模型训练过程中,某几个神经元可能会以某种特姝方式结合在一起,这些神经元之问形 成了一种特殊的依赖关系,在对输入数据进行分类吋,这些神经元只有在其依赖的神经元存 在的时候,才能起到其该有的分类作用。这种现象被称为神经元间的联合适应性,联合适应 125 性会大大降低模型的性能,使得模型的分类准确率远低于预期。本文通过添加 Dropout层[1!5 来解决这个问题。 Dropout层在训练阶段随机丢弃一定比例的神经元,每次训练丢弃不同的 神经元,迫使模型去学习更加鲁棒的特性,因此,添加了 Dropout层的神经网终相当于多个 神经网络的集成网络,这些神绎网络共享权值,有效减少了参数数量和训练时间。通过这种 丢芥策略,不仅削弱了神经元间的联合适应性,同时还有抑制过拟合的作用。日前,卷积神 4 山国利技论文在线 http://www.paper.edu.cn 130 经网络大多采用ReLU+ Dropout的策咯,并能够取得不错的分类性能[16,17,1 最后, Minivgg模型通过全连接层整合从输入数据中提取的类别特征「19],然后通过模 型末尾的 softmax层返回输入数据的类别概率值 13模型训练 我们训练模型的目的是希望模型的输出y(x)能够拟合所有的训练输入x,并且具有良好 135 的泛化性能。我们使用代价函数来量化模型的拟合能力。文中模型的训练使用交叉熵代价函 数,定义如下 n <LyIn a+(1-y)In(1-a)] (1) 其中, Tablet Surface Defect Detection Based on Convolutional Neural Network n是训练数据的 综合,a表示输入为x时的输出向量,ν时对应的目标输出。选择交叉熵函数作为代价函数 140 的原因要有两个:1)C>0,式(1)中对数函数的定义域为(0,1).因此,式(1)中所有独立项都 为负值,在式前加上负号,使得交叉熵代价函数值人于零。2)如果对于模型的训练输入x 模型的实际输岀a与日标值ν大致相等的时候,交叉燏代价函数的值近似为0。综上所述 交叉熵代价函数具有非负性,且当模型准确率扃的吋候,交叉熵代价函数的值近似为0,这 些正式代价函数所应该具有的特性,此外,相较与其他代价函数,交叉熵代价函数还能够解 l45 决学习速度下降的问题。 模型训练过程中可能会过拟合现象,影响模型整体性能的情况。本文采用L2规范化即 杈重衰减来解决这个问题,通过向原始代价函数中添加惩罚项,限制模型的学习能力。添加 惩罚项后的交叉熵代价函数表示如下: ∑ha+(1-y)ln(1-a)]+∑ 150 其中,式(2)的第一项为常规的交叉熵代价函数,第二项为惩罚项,即所有权重的平方和 使用对惩罚项进行量化调整,其中λ>0为规范化参数。添加惩罚项之前,权重的学习规 则为 aC 7 155 添加惩罚项之后,权重的学习规则为: C (4) 其中,C为未添加惩罚项的代价函数,η为学习速度。从式(3)和(4)中可以看出,L2规范化 通过添加惩罚项限制模型的学习能力,迫使模型学习更小的权重,减少模型的复杂度,有效 提高了模型的整体性能。 160 通过定义代价函数,我们将训练目标转换为寻找最小化代价函数的权值。这样就可以使 用小批次梯度下降(Mii- batch gradient descen)算法史新模型的杈值。小批量数据首先在模型 中正向传播,通过公式(2)计算代价函数值。然后利用误差反向传播更新杖值,反向传播首 先计算输出层的误差: CC 山国利技论文在线 http://www.paper.edu.cn 165 其中,δ表示第L层第j个神经元的误差,C为代价函数值,a为第L层第j个神经元的 输出,σ()为激活函数,z表示第L层第j个神经元的激活函数的带权输入。然后使用当前 层的误差计算上一层的误差 (ao")2)Oa(z2) (6) 其中,(ω-")表示第L+1层权重矩阵o4"的转置,⊙表示 Hadamard成绩运算。从公式(6)可 170 以看出误差沿着网络在模型中反向传播。然后便可计算代价函数关于网终中仟何一个权值的 改变率 C 其中,ω表示从L-1层的第k个神经元到L层的第j个神经元上的权重。最后,我们使用 公式(4)更新网络权值。此外,由公式(4)可以看出,影响模型训练的因素还有学习率η。在 175 模型训练阶段,如果选择一个常数作为学习率存在着以下问题:1)如果选择较小的常数作为 学习率,在训练阶段刚开始时,较小的学习率会导致模型收敛速度降低,耗费过多时间。2) 如果选择较大的常数作为学习率,虽然解决了费吋问题,但是,当训练阶段即将结束的吋候 模型的参数已经十分接近最优解,使用较大的学习有可能导致直接跳过最优解,使模型无 法学习到最优参数。为解决上述问题,本文中的 Minivgg模型训练使用学习率衰减策略, l80 即学习率伴随着训练过程不断降低,直至为0,衰减策略的具体过程如下 alpha= baser (1-(epoch Epochs)) 其中,wpha为当前学习率, buser为初始学习率, epoch为当前达代次数, Epochs为训练 阶段的总迭代次数。为了提高模型的收敛速度,使用动量加速[20加遮模型训练。 185 此外,为了得到泛化性能良好的模型,我们在 Minivgg训练过程中使用提前停止策路 ( early stoppin)。提前停止通过狠制优化过程的参数空间来提高模型的准确率和泛化性能 [21],2]J在模型的训练阶段,每当模型在验证集上的性能有所提高时,我们便记录此时的模 型参数。当模型在验让集上的性能不再提高甚至开始卜降时,训练就会终止,训练结束后我 们返回使模型性能最优的参数。模型的超参数设置如表1所示。 190 表1超参数设置 Table 1 Hyper-parameter settings Epochs baser momentum Batch size 500 0.9 64 2实验结果与分析 2.1实验环境与评价标准 实验环境采用 Windows操作系统,处理器 Intel Core TMi7-7700 HQ CPU@2.8GHz,内存 l95 800GB,显卡GTⅹ1050π i Python编程环境, Keras深度学习框架完成实验 模垩训练阶段监视模型的训练准确率、训练涢尖、验证准确率和验证掼失。模型测试阶 段通过观察模型分类的 precision(精度)、recεl召回率)、fl- -score(f评分)综合评价模型性能。 评价标准的计算过程如下: 6 山国利技论文在线 http://www.paper.edu.cn precision -TP/TP+/P)(8) 200 recall=TP/(TP+ FN)(9) 2. precision recall precision+recall lo) 其中,TP表示样本属于A类,且被模型正确地归为A类;P表示样本不属于A类 但被模型错误地归为A类;FN表示样本属于A类,但被模型错误地归为其亡类。 205 2,2结果与分析 在训练过稈中要汴意观察训练误差和验证误差,当二者之间的差距具减増大时,意味着 网络开始岀现过拟合现象。训练阶段的训练损失、训练准确率、验证损失和验证准确率如图 5所示。 Training Loss and Accuracy [Epoch 500] train loss val loss train acc val aco oUu 6 0 100 200 300 400 500 Epoch #t 210 图5训练阶段损失和准确率 Fig. 5 Training Loss and Accuracy 从图中可以看岀, MiniVgG模型在迭代300次之后开始收敛,山于使用了学习率衰减筼 咚,训练阶段后期学习率较低,后续的200个迭代期模型性能持续改善,收敛速度相对降低 且未岀现过拟合现象。当迭代500次之后模型性能不再提高,结束训练阶段,保存模型参数, 215 进行模型性能测试。模型测试阶段的 precision(精度)、 recal(召回率)、l- score(f评分)如表 2所小。从表2可以看到,模型对于四类药片都能够得到较髙的精度、召回率和fl评分, 说明针对药片衣面缺陷检测, MiniVgg模型性能优越且稳定。通过测试, Minivgg模型的 整体分类准确率( accuracy)达到9775%,与传统的基于模式识别的检测算法88%的准确率[23 相比,分类准确率提高了近10%。 220 表2测试结果 7 山国利技论文在线 http://www.paper.edu.cn Tablc. 2 Tcst rcsults precision recall fl-scorc 总和 合格 0.94 0.95 280 缺损 0.97 0.94 0.96 324 划痕 00 6 污渍 1.00 1.00 1.00 290 Incro avg 0.98 0.98 0.98 macro avg 0.98 0.98 0.98 1200 3结语 本文主要研究了基于卷积神经网终的药片表面缺陷检测方法ε以ⅤGG模型为基础,针 225 对药片表面缺陷检测任务,提出了 Minivgg模型,通过实验验证, Minivgg模型充分利用 養积神经网络局部连接、权值垬享等适合处理图像数据的特点,将整体分类准确率提髙至 9775%,且稳定性笭各方面性能明显优于基于模式识别的检测算法。 参考文献]( References) [1 HUBEL D H, WIESEL T N. Receptive fields, binocular interaction, and functional architecture in the cat's 230 visual cortex[J] Journal of Physiology, 1962, 160(1): 106-154 [2] FUKUSHIMA K. Ncocognitron: a sclf-organizing neural nctwork modcl for a mcchanism of pattcrn recognition unaffected by shift in position []. Biological Cy bernetics, 1980, 36(4): 193-202 [3]LECUN Y, BOTTOU L, BENGIO Y, ct al. Gradicnt-bascd learning applicd to document rccognition Proceedings of the IEEE, 1998. 86(11): 2278-2324 235 [4] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [eb/ol].[2018-10-04].https:/arxiv.org/pdf/1409.1556.pdf. [5 SZEGEDY C, LIU W,JIA Y, et al. Going deeper with convolutions [C]/ Proceedings of the 2015 IEEE Confcrcncc on Computcr Vision and Pattcrn Rccognition. Washington, DC: IEEE Computcr Socicty, 2015: 1-8 6 HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition EB OL 2018-10-14 40 https://www.cv-foundation.org/opcnacccss/contcntcvpr_2016/papcrs/hcDccpRcsidualLearningCvpr2016 aper. p f [7H. Farid and E. P. Simoncelli, Differentiation of discrete multi-dimensional signals [: IEEE Trans Image 2004,13(4):496-508 8 Chu J L, Krzyzak A. Analysis of feature maps selection in supervised learning using convolutional neural nctwork[C]/Procccdings of the 27th Canadian Confcrcncc on Artificial Intclligcncc Montreal, Canada, 2014 59-70. [9] LcCun Y, Bottou L, Bcngio Y, ct al. Gradicnt-bascd learning applicd to document rccognition[J]. Procccdings of the ieee,1998,86(11):2278-2324 10 Gao Li-Gang, Chen Pai-Yul, Yu Shi-Meng. Demonstration of convolution kernel operation on resistive cross-point array[J]. IEEE Electron Device Letters, 2016, 37(7):872-873 [11 O'Shea K, Nash R. An introduction to convolutional neural networks EB/OL]. [2018-10-28]. ar Xiv 151l08458v2.2015 [12 Sergey loffe, Christian Szegedy. Batch Normalization: Accelerating Deep Network Training by Reducing InternalCovariateShiftleb/ol.http:/iarxiv.org/abs/1502.031 255 [13 ZEILER M D, FERGUS R. Stochastic pooling for regularization of deep convolutional neur ral networks [EBOL][2018-11-15]. arXiv.1301.3557v1,2013 4] Boureau Y-L, Roux N L, Bach F, et al. Ask the locals: Multi-way local pooling for image recognition[C]i/Proceedings of the 20 1 International Conference on Computer Vision. Barcelona, Spain, 2011 2651-2658 260 [15] HINTON G E, SRIVASTAVA N, KRIZHEVSKY A, et al. Improving neural networks by preventing Co-adaptionoffeaturedetectors[r/ol].[2018-10-26].https:/arxiv.org/pdf/1207.0580.pdf [16 Krizhevsky A, Sutskever Il, Hinton G. Imagenet classification with deep convolutional neural networks[C]/Proceedings of the Advances in Neural Information Processing Systems. Lake Tahoe, USA, 2012 1097-1105 265 [171 Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting]. ournal of Machine Learning Research, 2014, 15(6):1929-1958 [18 Sainatha T N, Kingsburya B, Saona G, et al. Deep convolutional neural networks for large-scale speech tasks[]. Neural Networks, 2015, 64(Special Issue): 39-48 山国利技论文在线 http://www.paper.edu.cn [19 Sainath T N, Mohamed A, Kingsbury B, et al. Deep convolutional neural networks for 270 LVCSR[C]/Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processin Vancouver Canada. 2013: 8614-86l8 [20] Richard S Sutton. Two problens with backpropagation and other steepest-descent learning procedures for nctworks[J]. Procccdings of thc Eighth Annual Confcrcncc of thc Cognitivc Scicncc Socicty, 1986 [21] Bishop, C. M.. Regularization and complexity control in feed-forward networks[C]/In Proceedings 275 International Conference on Artificial Neural Networks ICANN95, 1995, 215(1): 141-148 [22] Sjoberg, J and Ljung, L. Overtraining, regularization and searching for a minimum, with application to neural networks[J]. International Journal of Control, 1995, 62(6: 1391-1407 L2」高体红基于机器视觉的药药片缺陷裣测系统凵DJ福建:华侨大学,201 9

...展开详情
试读 9P 论文研究-基于卷积神经网络的药片表面缺陷检测 .pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-基于卷积神经网络的药片表面缺陷检测 .pdf 50积分/C币 立即下载
1/9
论文研究-基于卷积神经网络的药片表面缺陷检测 .pdf第1页
论文研究-基于卷积神经网络的药片表面缺陷检测 .pdf第2页

试读结束, 可继续读1页

50积分/C币 立即下载