论文研究-基于卷积神经网络的视频图像失真检测及分类.pdf

5星(超过95%的资源)
所需积分/C币:50 2019-07-22 22:21:37 629KB .PDF
59
收藏 收藏
举报

为了检测不同失真类型的视频图像,实现对失真视频图像的分类处理,提出一种基于卷积神经网络的视频图像失真检测及分类方法。将视频图像分割成较小的图像块作为输入;然后利用卷积神经网络主动学习特征,引入正负例均衡化和自适应学习速率减缓过拟合和局部最小值问题,由softmax分类器预测图像块的失真类型;最后采用多数表决规则,得到视频图像的预测类别。采用仿真标准图像库(LIVE)和实际监控视频库对该方法进行性能测试,前者的总体分类准确率达到92.22%,后者的总体分类准确率达到92.86%。整体的分类准确率高于已有的其他三种算法。引入正负例均衡化和自适应学习速率后,CNN的分类准确率得到明显提升。实验结果表明,该方法能主动学习图像质量特征,提高失真视频图像分类检测的准确率,通用于任意失真类型的视频图像分类检测,具有较强的鲁棒性和实用性。
第9期 邬美银,等:基于卷积神经网络的视频图像失真检测及分类 2829· 其中: △W(=p2△W P、+(1-)P,<T P ≥T 卷积神经网络的最后一个全连接层使用了 dropout方法, a)正常视频 b)过亮视频 c)过暗视频 即训练网络时以0.5的概率随机将隐藏单元的输出值设置为 0.用已训练的网络预测测试样本的类别时将隐藏单元的输出 值减半。使用 dropout方法能减少神经元之间复杂的自适应 性,迫使神经元学习到更加鲁棒的特征,防止神经网络发生过 拟合。同时,利用不同的 dropout掩模, dropout能在深度神 d偏色视频 (模糊视频 经网络结构中实现一种模型平均1 图2实际监控视频库的视频图像(图中马赛克区覆盖的是版权信息) 网络训练完成后,根据多数表决规则,山输入图像对应的 22评价方法 图像块中的多数类决定该输入图像的预测类。 根据图像分类的传统方法,本文计算图像的预测类别与真 实类别之间的分类误差,利用混淆矩阵( confusion matrix)得到 卷积神经网络的结构 各类图像和仝部图像的分类准确率,以便分析实验结果。本文 卷积神经网络共八层,网络结构如图1所示。其中输入层方法把实验样木随机分为三个子集,其中60%作为训练集, 为局部对比归一化后的图片块,前两个卷积层均有32个7x720%作为验证集,剩下的20%作为测试集。采用交叉验证的训 大小的卷积核,以一个像素点的步长对输入特征映射进行卷练方式,训练集、验证集和测试集在图像内容上是绝对隔离的。 积。由丁对输入特征块射作∫边缘填充,所以可保持输出特征2.3仿真标准图像库(LVE)实验结果及分析 块射的尺寸与输入特征映射相同。卷积层后接着泡化层,池化 为了更直观地描述哪些类型在分类时容易被混淆,图3绘 层的每个神经元连接其上层3×3大小的邻域,并以邻城内的制了仿真标准图像库(LVE)测试集中各类之间分类检测时的 最大值(最大池化)或均值(均值池化)作为神经元的输出值。混淆矩阵。混淆矩阵屮列为算法分类预测类型,行为真实失真 第三个卷积层有64个7×7大小的卷积核,其下层为均值池化类型,矩阵中的数值表示对应行列上的失真类型间的混淆概 层,之后的两个全连接层中分别有6和5个神经元节点。最率。表1对比了本文方法和BQI、DVNE、 BRISQUE对仿真 终利用 softmax分类器预测图像块的失真类别。 标准图像库(IVE)测试集中各类失真图像以及总体的分类准 卷积层泡化层卷积层池化层卷积层池化层全连接层 输人 输出率。由表1可知,本文方法对各类及总体的分类准确率均 其他一种方法好。实验结果表明,针对图像失真分类检测问 题,本文方法能克服图像内容对图像失真检测的影响,主动学习 到图像质量相关特征,对各类头真图像均具有较好的识别性能。 表1各算法在IVF库测试集上的分类准确率 /% 图1春积神经网络 方法 图像类型 JPEG WN BLUR 全部 2实验结果与分析 BIQI 75 DIVIE 80.0 88.89100.00 2.1实验数据 本文 为了验证本文方法的性能,实验中采用仿真标准图像库2.4实际监控视频库实验结果及分析 LVvE)8和实际监控视频库来测试。仿真标准图像库 图4所示为本文方法在实际监控视频库测试集中各类图 IIVE)由29张原始自然图像和79张失真图像组成,其中包像之间分类预測的混淆矩阵。表2对比了本文方法引入正负 括JPEG、JP2K压缩、白噪声(WN)、高斯模糊( BLUR)和快哀例均衡化方法和自适应学习速率前后,各类视频图像和总体的 落(FF)工种失真类型。 分类准确率。由表2可知,本文方法对视频图像的分类检测具 实际监控视频库来源于安防企业的平安城市项目,其中包有较好的主观一致性,总体的分类准确率达到92.86%。引入 含1640个正常视频45个模糊异常祧频、122个偏色异常视正负例均衡化方法和自适应学习速率后,网络性能有较大提 频、23个过亮异常视频和40个过喑异常视频。视频库中的过升。实验结果表明,本文方法对实际监控视频图像能取得较好 亮和过暗异常是由丁曝光量设置不当引起的,主观检较易判的分类检浏效果,具有较强的实用性。 别。偏色视颎中存在偏红、偏黄、偏绿、偏监等多种偏色问题 JP2K1084M04000000o常|10000000o 是由于摄像头采集的图像与物体真实颜色之间存在的误差导副 JPEG 737 0o0co0 0o 00圆 s 0943 o000 D Oo0 acoo 致的。模糊视频的成因最为复杂运动模糊失焦模糊、灰层 wN oUa oron. ona76 1 n0过暗 aooo non ssas Dowo nuss 遮挡等多种因素产生。实验中视频图像是从实际监控视频库8 bLur Do33 oco G 0 ogoco ooo能色0:s 视频中取帧产生的,存在不同的分辨率,如352×288、528 384、704×576和1280×720等。经过1.1节的正负例样本均 JP2K JPEG WN GBLUR FF 正常过亮过暗偏色模糊 衡化,得到分布较为均匀的实验样本。图2所示为实际监控视 真实类型 真实类型 图3仿真标准图像库(LIⅤE 图4实际监控视频库测试 频库的部分视频图像。 测试集上的混淆矩 集上的混淆矩阵 2830 计算机应用研究 第33卷 表2实际监萍视频厍测试集上的分类祚确率/% 表5运行时间比较 方法 图像类型 正常过亮过暗偏色模湖全部 BiQI DIVINE BRISOUE 本文 本文无正负例均衡化86.6775.0080.0065.0086.6778.67 耗时/ 1.2881 7.3802 0.41329 2.4194 本文尢自适应学速率92.0095.4594.4593.4475.0090.42 本文 9615964395659412875092863结束语 2.5参数对比实验 本文提出了一种基于卷积神绎网络的祝频图像失真检测 实验通过控制变量法,利用实际监控视频库,检测图像块 及分类方法,要的研充意义如下:a)该方法不需要手动提取 和卷积核的尺寸对本文方法分类性能的影响。其中图像块主特征,能克服视频图像内容对视频图像失真检测及分类的影 要包括图像块的大小和图像块的数量两个方面。 响,主动学习特征使其适用于任意失真类型的视频图像失真检 1)图像块的尺寸实验对比了不同尺寸的图像块对分类 测,具冇较强的鲁棒性;b)用仿真标准图像库(LIVE)和实际监 准确率的影响,结果如表3所示。如果采用无重叠采样的方 控视频库测试木文方法的性能,均取得了很好的识别效果,引 式,图像块的数量会随着图像块尺寸的变化而变化,图像块的正负例均衡化和自适应学习速率后,对监控视频图像的分类 尺寸越大数量就越少,不符合控制变量法原则。所以实验中准确率达到了92.86%,算法运行时闾相对较短,整体上性能 来用重叠采样的方式,将采样步长固定为32,除去图像边缘的较好,明该方法是种有效的视频图像失直检测及分类方 影响,改变图像块的尺寸,其数量基本保持不变。由表3可知 法,具有较强的实用性。在接下来的作中,还有待结合视 当块大小为56×56时,得到的分类准确率最高达到9.86%。信息,总体分杆视频图像的前后变化,对视频质量进行检测及 表3不同图像块尺寸的总体分类准确率 评价,以期达到良好的效果。 块的尺寸 参考文献 识划率/%79.0984.1885.9 92.86 8.35 1]房亚男.数字视频图像质量检测关键技术研究[J].科技创新导 报,2013(16) 2)采样的步长为了观察不同数量的图像块对网络性能[2]侯忠辉。视频监控画面质量捡测研究[J].计算机安全,2013 的影响,实验中将图像块的尺寸固定为56×56,通过改变采样 5):55-59. 步长得到不同数量的图像块。图5显示了总体分类准确率随3]王正友,伍世虔,徐升华,等。一种离焦模糊图像客观检测的新 方法「J].中国图象图形学报,2007,12(6):1008-101 着采样步长变化的情况。出图5可知,采样步长为32时,总体4」Mm 4 Moorthy a K, Bovik A C. A two-step framework for constructing 分类准确率最高 blind image quality indices[ J. IEEE Signal Processing Letters 2010,17(5):513-516 只别 [5 Moorthy A K, Bovik A C. Blind image quality assessment from natu ral scene statistics to perceptual quality[ I]. IEEE Trans on Image Process,2011,20(12):3350-3364 80 6 Mittal A, Moorthy A K, Bovik A C. No-reference image quality sessment in the: spatial domain[ J]. IEEE Trans on Image Pro cess,2012,21(12):46954708. 7」董平,刘利雄.互信息域中的无参考图像质量评价LJ」.中国 图象图形学报,2014,19(3):484-492 [8 Li Chaofeng, Bovik A, Wu Xiaojun. Blind image quality assessment using a general regression neural network[J. IEEE Trans on Neu 图5不同采样少长的分类准确率 ral Networks,2011,22(5):793-79 3)卷积核的尺寸在不改变算法其他结构的前提下,测 9]李朝锋,唐国凤,吴小俊,等.学习相位一致持征的无参考图像 质量评价[J].电子与信息学报,2013,35(2):484-488 试了卷积核的尺寸对算法性能的影响。其实验结果如表4所10]贾惠珍,孙权森,王同罕.结合慼知特征和自然场景统计的无参考 示。由表4可知,在不同尺寸的卷积核条件下,算法得到的总 图像质量评价「J1.中国图象图形学报,2014,19(6):859867 1]刘雪超,吴志勇,黄德夭,等.结合自然图像统计和空域变换的 休分类准确率均较高,且分类准确率随着卷积核尽寸的变化嗝 无参考图像质量评价[冂].计算杌辅助设计与图形学学报,2015 度较小。实验结果表明卷积核的尺寸对算法性能的影响较小 27(2):249-25 [12 Krizhevsky A, Sutskever I, Hinton G E. Image Net claseification with 表4不同尺寸的卷积核得到的识別率 deepconvolutionalneuralnetworksEb/ol].(2012).http://www. 卷积核尺寸 3×3 7 9x911×11 L 13] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural network 识别率%90.0691.0092.8690.2790.09 [J. Journal of Machine Learning Research, 2010(15): 315-323 14 Nair V, Hinton G E. Rectified linear units improve restricted Boltz 2.6算法时间分析 mann machines[ C]//Proe nf Inle rnat ional Conference on Machine 实验环境为 Intel Pentium CPU3.2GHz,内存为8GB的 LearnIng.2010:807-814. 15 Maas A L, Ilannun A Y, Ng A. Rectifier nonlinearities improve neu- PC机、操作系统为64位 Windows7旗舰版。利用 MATLAB ral network acoustic models[ c//Proe of International Conference on R2014a,对仿真标准图像库(LIVE)中一幅768×512的WN彩 Machine Learning. 2013 L 16 Hinton G E, Srivastave N, Krizhevsky A, et al. Improving neural 色失真图片进行检测分类,并将其与BIQI、 DIIVINE和BRIs networks by preventing co-adaptation of feature detectors[ J]. Com ρUE在相同环境下所需时间进行比较,结果如表5所示。由 puter Science,2012,3(4):212-22 表5可知,本文方法的运行时间比DNN短,虽然档长丁「171 Goodfellow I J, Warde -Farley D, Mirza m,ea, Maxout network Journal of Machine Learning Research, 2013, 28(3 BIQI和 BRISQUE的运行时间,但在可接受范围内,其有较好 1319-1327 的实时性。另外,本文方法的检测效果比这种方法的要好,[18] Sheikh R, Wang Z, Cormack l,eta. LIVE image quality assess ment database release2[ eb/ol].(2006). htTp: //lIve. ece.utexas 从整体上看,本文方法的综合性能更好一些。

...展开详情
试读 4P 论文研究-基于卷积神经网络的视频图像失真检测及分类.pdf
立即下载 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
hushaobo 很好OKOKOK
2019-12-30
回复
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-基于卷积神经网络的视频图像失真检测及分类.pdf 50积分/C币 立即下载
1/4
论文研究-基于卷积神经网络的视频图像失真检测及分类.pdf第1页

试读结束, 可继续读1页

50积分/C币 立即下载