论文研究-基于生成对抗网络的运动模糊图像复原.pdf

所需积分/C币:22 2019-09-12 00:13:09 831KB .PDF
59
收藏 收藏
举报

针对相机成像时相机抖动、物体运动等导致图像产生运动模糊这一十分具有挑战性的问题,提出基于生成对抗网络的深度卷积神经网络来复原模糊图像的解决方案。该方案省略了模糊核估计的过程,采用端对端的方式直接获取复原图像;通过引入生成对抗网络思想的对抗损失和对残差网络进行改进,有效地复原了图像的细节信息。最后通过训练此深度卷积神经网络模型并在相关模糊复原基准数据集上测试,证明了该方案取得了较好的结果。
桑亮,等:基于生成对抗网络的运动模糊图像复原 2019,55(6)175 表2判别器网络结构 CONV 输出太小 网络层 CONV 输入图像 e 3×3CONV, LRCLU BN 64×64×323×3 CONV sTride2, LReLU CONV CONV 32×32×643×3 CONV stride2, LRelu BN 6×16×1283×30 Nv stride2,IRcU 6×16×2563×3CoN, REly 8×8×2503×3 CONV stride2, RElY (a)基本的残差网络(b)修收后的残差网络 4×4×5123×3 CONV stride2, LRelU 图1基本的残差网络结构和修改后的版本 819 Flatten FC. LRelU 整。相比于其他的卷积神经网络模型使用残差网络结 构能够使训练的网络具有更深的结构。此外,模糊清晰 输出分类标签 图像对在像素值上非常接近,残差冈络结构能够有效地 学习到两幅图像之间的映关系。删去残差网络结构22.1内容损失 中快捷连接( Shortcut connection)后的修正线性单元 从根本上来说,想要模型的输出恰好就是对应的清 后,在训练时的收敛速度会加快。山于显卡显存的限晰图像,因此,损失方程选用L2损失或均方差表示 制,训练时的批大小( Batch size)设为6,这要小于通常 (2) 用到批规范化层的批大小,故删去了两个批规范化 层"。为了描述的方便性,把这个修改后的残差网络结 ? 构简称为残差块。 其中,ls、lg分别指此模型输出的复原图像和对应的 输入的图像块首先经过·个卷积层和修正线性单 真实清晰图像,α、h、c分别指输入模型图像的宽度、高 会得到64个特征图( Feature Map)。接着,在这之后 单元,把64个特征图转化为输入图像维度。通过设置归化。谷损失通过除以图像所有像素数量值 度和通道数 排列着19个残差块,最后接着一个卷积层和修正线性 每个卷积层的填充输入图像的边界( Padding)为0,使得 222残差损失 输入输岀图像的分辨率保持不变。通过排列足够多数 传统上来说,图像复原任务往往采用复原图像和真 量的卷积层,此神经网络的感受野( Receptive Field)会实图像的L或L2损失作为目标方程但是,在深度卷 逐渐增长到能学习到整个图像块(Pach)的信息。对所积神经网络只用L1或L2损失会导致复原图像过于平 有的卷积层,卷积核的大小设为5×5,这虽然增加了参滑,这是因为像素级别的误差方程趋向于在所有可能解 数量,却带来明大的感受野,图像模糊复原的效果更好。的平均值处收敛。这会使图像丢失锐利的边缘,而且 2.12判別器模型 边缘处的模糊依然大部分存在。因此,采用把内容损失 判别器模里是一个二分类器估计一个样本来自于和对抗损失结合起来共同作为损失方程。 训练数据(而非生成数据)的概率,如果样本来自于真实 最近,生成对抗网络在生成逼真的图像领域取得了 的训练数据,判别器模型冂输岀大概率,否则,输岀小概率。 十足的进展,目前已经成为人工智能学界·个热门的 判别器网络结构如表2所示,其中CONV、rC和研究方向。生成对抗网终的基本思想源自博弈论的二 REly分别指卷积( Convolution)层、全连接(F叫y人零和博弈,由一个生成器和一个判别器构成,通过对 Connected层和带泄露修正线性单元( Leaky Rectified抗学习的方式来训练。在原始的设定中,生成器网络G Linear units)激活函数。遵循 Radford等人的设计样被训练来学习,从服从杲种分布的随机向量x到图像数 式,全部使用步长为2和滤波器大小为3×3的卷积层和据空间x的映射,即估测图像数据样本的潜在分布并生 斜率为0.2的带泄露修正线性单元和来减小图像的空间成新的图像数据样本,与此同时,一个判別器冈络D被 维度直到特征图大小为4x4,接着连接两个全连接层和训练来区分来自图像数据集中的图像样本和生成的图 一个 sigmoid激活函数得到一个0或1的分类标答 像样本。训练生成器网络是为了最小化: 22损失方稈 LA=-Ib(d(G(z)) 为了使最优化这个神经网络模型,使用的损失函数 而判别器网络是为了最小化: 由内容损失和残差损失组成。 D=-l(D(x)-1b(1-D(G(z)) 1762019,55(6) Computer Engineering and4 pplications计算机工程与应用 这导致了一个极小极大化的问题,将两者结合起的区域复原效果不是很成功,而 Whyte等人的结果包 来,得到残差损失定义为: 含了很严重的振铃现象。 Lady =Es-heis(b D(S)+ER-puxm ((b(1-D(G(B)))(6) 其中,G和D分别指2.1节中的生成器模型和判别器模 型,S和B分别指对应的清晰和模糊图像对。 3实验分析 31实验设置 (a)模糊图像 b)清晰图像(c)本文算法模型结果 通过 Torch7框架来实现模型。所有的实验在一台 配有上5-1620V4处理器和 NViDia TX TItan X显卡 的工作站上实现 模型参数:通过ADAM算法优化损失方程,并通过 a 随机梯度下降(SGD)算法使模型收敛。在实验中,设 (d)Gong等人结果(e)Sun等人结果( f)Whyle等人结果 全局的学习率 learning rate)为动量 momentum)为09 图2 GoPro数据集实验结果对比图 经过6.0×105次迭代后此卷积神经网络模型收敛。 32数据集 为了训练模型,采用Nah等人公开的 GoPro数据 集。输入神经网络模型的一对模糊清晰囪像块旳分辨 率大小为128×128×3,是从训绦数据集对中随机截取的。 为了防止训练的过程中过拟合,采取了下列的方 (a)模糊图像 (b)清晰图像(c)本文算法模型结果 法。为」防止图像的几何变换,截取的图像块被旋转随 机的角度或水平、垂直翻转。图像的RGB通道也被随 机打乱。考虑到图像退化的影响,HSV颜色模型中的饱 和度被乘上·个在0.5和1.5之间的随机数。此外,随机 高斯噪声也被加到模图像。最终,经过上述方法的图( gong等人结果(e)sun等人结果 f) Whyte等人结果 像的像素值被调整到0与1之间。 图3Lai数据集实验结果刈比图 与其他具有代表性的非均匀模糊复原方法在·些 表3为两组实验的图像质量评价结果,从表中的量 公开的基准( benchmark)数捃集上的结果进行比较。选 化指标中可以看出,本文所提出的深度卷积神经树终模 取了比较流行的肓非均匀模糊图像复原算法,分别是 型不论是峰值信噪比(PSNR)或结构相似度(SSIM)都 Whyte等人、Sun等人和Gong等人公开的代码。基 要优于其他三种算法:因此,本文所提出的模型在主观 准数据集如下 视觉效果和图像质量评价结果中均取得了较好的效果。 (1) GoPro数据集:Nah等人公开的 GoPro数据集通 过累加 GoPro拍摄的高速视频中的视频唢来模仿真实 表3图像复原质量评价结果 模糊图像的生成过程。整个数据集包含了3214对模糊测试图像评价标准 Whyte Sun Gong本文算法模型 清晰图像对,其中训练集包含2103对而剩下的作为测 GoPro PSNr/dB23.616925.8298264322299762 试集。使用此训练集训练本文的模型并选取剩下的测 数据集SSM0.80170.88940.89940.9182 Lai等人 PSNR/dB13.619913.532813912713.951 试集展示此方案的结果。 数据集SSM058330607206262065325 (2)Iai等人生成的数据集:包含均匀和非均匀模 糊核的真实和合成的图像并采用了一些常见的图像退4结束语 化方法。而用于合成模糊图像的非均匀模糊核是按照 针对相机成像时相机抖动、物体运动、景深等会导 Kher等人的文章中的方法生成的,他们是用6D相机致运动模糊的问题,本文提出了一种基于生成对抗网终 拍摄时记录的运动轨迹回放生成模糊核。 的端对端的盲图像复原方法。与传统的方法不同,本文 实验结果如图2、3所示,其中图2为GoPr数据集的模型省略∫模糊核估计的过程,这可以避免模糊核估 的结果,图3为Lai数据集的结果。本文的结果在主观计以及估计错误带来的问题。按照生成对抗网络的思 视觉效果中均取得了较好的效果。可以注意到,Sun等想,整个模型由生成网络和判别网络组成。生成网终 人和(ong等人的方法在锐利边缘处或模糊是非线性由经过修改的的残差网络块组成,而判别网络参考 桑亮,等:基于生成对抗网络的运动模糊图像复原 2019,55(6)177 Radford等人经验设定。通过实验分析对比,本文所提 ference on Computer Vision and Pattern Recognition 出的模型可以有效地复原出幅较为清晰的高质量 2017:3883-389 图像。 [91 He k, Zhang X, Ren S, et al. Deep residual learning for ge rccognition [c]IEEe Conference on Computer 参考文献: Vision and Pattern Recognition, 2016: 770-778 1程俊廷,左旺孟快速非均匀模糊图像的盲复原模型黑0 Sajjad y, Scholkopf b, Hirsch M.Enhance Ne、h 龙江科技大学学报,2017,27(2):196-199 mage super-resolution through automated texture sythe 2]张广¨明,高爽,尹增山,等基于模糊图像和噪声图像的遥 is(Cp/IEEE International Conference on Computer Vision 感图像运动模糊复原方法小电子设计工程,2017,25(18): 2017:44914500 d[ 11 Radford A, Metz L, Chintala S Unsupervised representa [3] Levin A, Weiss Y, Durand Y, et al. Understanding and eval- tion learning with dcep convolutional generative adver- uating blind deconvolution algorithms[CITEEE Confcr- sarial networks Cl,International Conference on Learning and Pattern Recognition, 2009 Repre 1964-197 [12 Ramakrishnanl S, Pachori S, Gangopadhyay A, et al. Deep 4]Xu L, Ren J, Liu C, et al. Deep convolutional neural net generative filter for motion deblurring[C]'IFEF Interna work for image deconvolution(C]/Advances in Neural tional Conference on Computer Vision, 2017: 2993-3000 Information Processing Sytems, 2014: 1790-1798 [13 Whyte O, Sivic J, Zisserman A, et al. Non-uniform deblur- [5] Schuler C, Hirsch M, Harmcling S,ct aL. Learning to deblur[J] ring for shaken images[J].International Journal of Com IELE Transactions on Pattern Analysis and Machine Intel puter Vision,2012,98(2):168-186 gence,2010,38(7):1439-1451 [14] Gong D. Yang J, Liu L, Zhang Y et al. rom motion [6] Couzinie-Devy F, Sun J, Alahari K, et al. Learning lo esti blur Lo ImoTion llow: a deep learning solution for reIno mate and remove non-uniform image blur[C]/IEEE Con ing heterogeneous motion blur[C]/IEEE Conference on ference on Computer Vision and Pattern Recognition Computcr Vision and Pattcrn Rccognition, 2017: 3806-3815 2013:1075-1082 [15 Lai w, Huang J, Hu Z, et al. A comparative study for [7 Sun J, Cao w, Xu Z, et al. Learning a convolutional ner single inage blind deblurring]TEEE Conlerence on ral network for non-uniform motion blur removal[C]i Computer Vision and Patten Recognition, 2016: 1701-1709 IEEE Conlerence on Computer Vision and Patlern re [16 Kohler R, Hirsch M, Mohler M, ct al. Rccording and ognition, 2015 769-77 playback of camerashake: benchmarking blind deconvo [8] Nah S, Kim T, Lee K Deep multi-scale convolutional neu lution with a real-world database[C]European Confer ral nctwork for dynamic scene deblurring[ C IEEE Con- ence on Computer Vision, 2012: 27-40 (上接第38页) [88 Wong S K M. Ziarko WOptimal decision rules in deci [83 Jing Y,Li T, Fujita H, et al. An incremental attribute sion on table J. Bulletin of Polish Academy of Sciences reduction method for dynamic data mining[J]. Informa- 198533(11/12):693-696 tion sciences 2018. 465: 202-2l8 [89 Jing S, Li G, Zeng K, el al. ElTicienl parallel algorithn [84] Fatima M, Pasha M Survey of machine learning algo for computing rough set approximation on GPU[J] rithms for discase diagnostic[J]Journal of Intelligent Soft Computing,2018,22(22):7553-7569 Learning Systems and Applications, 2017, 9(1): 1-16 [90 Cuomo S, Galletti A, Marcellino L, et al. On GPU-CU DA as preprocessing of fuzzy-rough data reduction by [8.5]Niu Huang C, Li J, et al. Parallel computing techniques means of singular value decomposition [] Soft Comput for concept-cognitive learning based on granular com- ng,2018,22(5):1525-1532 puling]. International Journal of Machine Learning Cybernetics, 2018, 9(3): 1-21 91 Yang C, Gc H, Li L, ct al. A unified incremental reduc tion with the variations of the object for decision tables[jl [8G Raman MR g, Kirthivasan K, Sriram V S SDevelop Soft Computing, 2018: 1-21 ment of rough set- hypergraph technique for key fea [92] Lv P, Qian J, Yue XIncremental attribute reduction algo- ture identification in intrusion dctection systems[J rithm for big data using MapReduce[J] Journal of com- Computers Electrical Engineering, 2017.59: 189-200 putational Methods in Sciences and Engineering, 2016 [87 Lang G, Miao D, Cai M. Three-way decision approaches 16(3):641-652 to conflict analysis using decision- theoretic rough set[93]徐计,王国胤,」洪.基」粒计算的大数据处理[J计算机 theory[J] Information Sciences, 2017. 406: 185-207 学报,2015,38(8):1497-1517

...展开详情
试读 5P 论文研究-基于生成对抗网络的运动模糊图像复原.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-基于生成对抗网络的运动模糊图像复原.pdf 22积分/C币 立即下载
1/5
论文研究-基于生成对抗网络的运动模糊图像复原.pdf第1页

试读结束, 可继续读1页

22积分/C币 立即下载 >