论文研究-基于PCNN与区域特征的红外与可见光图像融合.pdf

所需积分/C币:10 2019-09-10 13:36:34 570KB .PDF
8
收藏 收藏
举报

针对红外图像与可见光图像融合中容易产生红外目标不明显、对比度不高的问题,提出了一种新的融合算法。该算法创新地将PCNN与区域特征应用到NSCT域内低频和带通子带系数的选择上。通过NSCT分解得到待融合图像的子带系数。运用PCNN对分解后的子带系数进行处理,得到子带系数的点火映射图。低频子带点火映射图采取基于区域标准差的方法选取融合系数。带通子带点火映射图采取基于区域能量的方法选取融合系数。融合图像通过NSCT逆变换可以得到。仿真实验表明与其他算法相比,该算法能够得到红外目标突出、质量更好的融合图像,图像客观评价指标提升明显。
l88 016,52(8) Computer Engineering and Applications计算机工程与应用 元的连接输入,U为网络的内部活动项,Y为网络的2.3基于PCNN与区域能量的高频融合规则 输出,E为动态阈值,n为最大迭代次数。网络内部神 图像的高频部分代表了图像的边缘纹理等细节信 经元的连接强度为B,连接域L和动态阈值E的放大息,对高频系数的合理处理能使融合的图像史加清晰 系数分别为V和V,它们的衰减时间常数分别为a2和 高频了带点火映射图中对应像素的点火次数越高,图像 ag,权值矩阵W为耦合连接域的连接矩阵,神经元的在该处的信息就越丰富达到的视觉效果就越好。但是 连接范围为k,l。该网络的其体工作过程为:神经元对单个像素对应的点火次数进行处理,没有考虑到像素 接受F通道的外部激励和来自L通道其他神经元的输 之间的关联性,会丢失局部的细节信息,影响融合效果, 入,经过公式(3)的处理得到内部活动项U。当U大因此本文采用基于区域能量的融合规则。通过比较高 频部分点火映射图的区域能量选择融合系数,仿真实验 于动态阈值E时,Y(n)=1表示神经元被点火,爷则 选取的迭代次数为200次,融合规则如下所示 y(n)=0表示未被点火。当神经元被点火时,它的动念 1)将NSCT域内高频系数的灰度值作为PCNN的 阀值会突然增加脉冲输岀会停止,当阈值减小到低于外部输入,经过迭代运算,得到点火映射图,处理后的可 Un时,神经元又被点火产生脉冲输出,反复进行直到达见光和红外图像高频系数分别为C(m、m),CK,(m,n), 到最大迭代次数为止。 其中NSCT分解层数为J,各层的方向数为K PCNN用于图像处理时,网络中的神经元数量与待 2)比较高频系数的绝对值,融合系数选择绝对值 处理图像的像素数量相同,每个像素都有白身的神经元大的高频系数。当两者绝对值相等时,比较以二者为中 与之对应。图像像素的灰度值作为神经元的外部输入,心的区域能量,选择区域能量大的高频系数。 经过神经元的内部处理得到脉冲输出,在最大迭代次数 (3〕计算高频系数的区域能量,区域窗口为3×3 内,将神经元的点火输出情况映射而成的图像即为经过EK(m,m),E(m,m)为红外与可见光的区域能量,计 PCNN处理的点火映射图。 图像的低频分量包含了图像总体特征,是对图像的 算公式参考文献[17如下所示: 个近似表达低频部分的融合规则对图像的融合质量 E.Om,n)=∑∑w+2,+2)CA ,J(m+},n+ -)2( 起着很重要的作用。本文算法将NSCT变换域内低频 j=0=0 和高频系数的灰度值作为PCNN的外部激励输入,设定 +2,+2C,(m+in-n)(9 PCNN神经元的连接范围为5,最大迭代次数为200,得 到PCNN输出的点火映射图。对于低频部分的处理,采 =[0.6,0.8,0.6;0.8,1,0.9;0.6,0.8,0.6] 用绝对值取大与区域标准差相结合的方法。区域标准 为窗口掩膜矩阵,中心杖值为1,离中心越近权值越 差表示了区域内像素灰度值和图像整体平均像素灰度大。w的选取参考文献[1]中的数值,在此基础上对n 值的离散情况。标准差越大,像素之间的差别就更为明的数值进行变动,并做了大量的实验,选取本文的w数 显,该区域就含有更为富的图像信息。绝对值越大像值得到的融合图像客观性能最佳。 素的灰度值越大,所含的信息就越多。因此,先对低频 (4)高频融合公式如下: 点火映射图中的系数进行绝对值取大,这样图像的大部 (m,n) 分能量就能获取到,当两幅图像低频部分系数的绝对值 JC, (m, n). absICp (m, m)]<abs(C,, (m, m)I (10 桕等时,比较二者的区域标准差,选择大的标准差作为 Ce,(m, n),abs[Ci, (m, n)>abs[ci (m, n) 融合系数。融合规则如下所示,DL(m,m),D,(m,n) 当高频系数的绝对值相等时,比较二者的区域能量 为红外图像和可见光图像在点火映射图中的低频系数,大小,选择大的值作为融合系数。 om,n),o(m,m)为红外和可见光图像在点火映射 H.(m,n)= CL (m, n), Ey,(m, n)<EL,(m, n) 图中的标准差,区域范围取3×3,BF.L(m,n)为低频融合 (11) C, (m, n),Er,(m, n)>E(m, n) 系数 2.4本文算法的图像融合步骤 FL 融合之前的红外图像F与可见光图像Ⅰ已经严格 jD, (m, n),abslDv, (m,n)] abs[D,,(m, n)J Dn(m,naND,(m,列>bD,m,m)(6)配准,图3为本文算法的实现框图 (1)对实验图像V和图像「进行NSCT分解,得到 当D.L(m,n)与D,(m,n)的绝对值相等时,比较 各白图像的低频系数和高频系数 二者的标准差如下所示 (2)将NSCT城内的低频和高频系数灰度值作为改 D,(m,n)p.L(m,m)≤a,∠(m,m) BEL(m, n) 1D(m,m0m,)>0(m,以(7)进PCNN的外部输入,通过PCNN的选代处理得到低频 和高频的点火映射图。根据公式(6)~(7),采用基于绝对 宋建辉,甘晶,刘砚菊:基于PCNN与区域特征的红外与可见光图像融合 2016,52(8 189 IL 从图4中可以看出,四种算法都能提取红外目标信 NSCT PCNN 息和可见光的背景信息,图4(c)块状效应比较明显,边 aform Lmage高,不够突出。图4(d)在清晰度上比图4(c)要好,能够 NSCT nverse- Fusion I缘纹理等细节信息模樹,红外目标与背景信息对比度不 EPCNN H 较好地分辨出背景信息的细节部分,整体亮度上要比 图4(c)差一些,红外目标与背景信息边缘部分不够平滑 图3本文算法的图像融合示意图 图4(e)比图4(c)、图4(d)在红外目标上要突出些,但 值和区域标准差的方法,得到低频融合系数B。(Om,n) 是不够明显,图像绀节方面比图4(c)、图4(d)要清晰 (3)根据公式(8)~(11),采用基于绝对值和区域能但与图4(f相比要差一些。图4(f)从对比度、亮度、清 量的方法,得到高频融合系数H.(m,n) 晰度上都明显优于图4(c)、图4(d)、图4(e),图4(f)中 (4)利用NSCI对低频融合系数Bn(m,m)和高频红外目标特征明显,边缘轮廓清晰,视觉效果最佳。 表1为原图像与各种算法融合图像的客观评价指 融合系数H.(m,n)进行重构,得到融合图像。 标,采用熵、均值、清晰度、标准差、互信息、转移熵对图 像进行评价。熵用来衡量图像所含信息的丰富程度,图 3实验仿真与分析 像的熵越大说明图像所含的信息越多。均值表小图像 釆用小波变换法、NSCT法、NSCT+PCNN法和本文 内像素的平均灰度值,表征了图像的整体亮度。清晰度 算法对相同的实验图像进行融合,通过采用主观和客观是图像清晰程度的一个度量,清晰度越大说明图像越清 评价的方法对融合后的图像进行了对比和分析。实验晰。标准差的大小能够衡量出图像灰度的分散情况,标 中,小波变换使用的小波基har",使用文献[4]中的融准差越大视觉上表现为对比度越高。互信息能够衡量 合规则:低频系数取平均,高频系数绝对值取大。NSCT融合图像从原图像捕获信息量的多少,互信息越大,捕 法采取的融合规则与小波变换相同。NsCT+PCNN法获原图像的信息就越多。转移熵表示了原图像与融合 釆取的融合规则为低频系数取平均,高频部分与本文算图像之间转移的信息量,值越大融合图像质量越好。 法相同。所有NSCT的方向滤波器均采用“9-7”,多尺度 滤波器组采用"pkva”,四种算法的分解层数都为4层。 表1融合图像的性能比较 图4(a),(b)为待融合的可将光和红外图像,图4 小波变换 NSCTNSCT+PCNN(低频取平均)木文算法 为小波算法融合图像,图4(d)为NSCT融合图像,图4(e) 熵6.522866051 66729 6.9179 均值90.261887.8552 81.7531 99.3177 为低频取平均的 NSCTIPCNN融合图像,图4(f)为本文 标准差28.691731.6453 33.5261 34.3939 算法融合图像 清晰度1686519477 2.060)7 2.0893 互信息1.41861.3331 1.3697 1.6405 转移熵0.55070.5047 0.5163 0.5406 客观评价方面,从表1数据中可以看出,NSCT法的 均值、互信息、转移熵小于小波变换法,熵、标准差、清晰 度要优于小波变换法。NSCT+PCNN法的均值比NSCT (a)可见光图像 (b)红外图像 法要小,其余的指标都比NSCT法要好本文算法的转 移熵要略小于小波变换法,其余各顶指标都是四种算法 中最优的。与小波变换法相比,熵提高了6.06%,均值 提高了10.03%,标准差提高了19.87%,清晰度提高了 2388%,互信息提高了1564%。与NSCT法相比,熵提 高了474%,均值提高了13.05%标准差提高了8.69 清晰度提高了727%,互信息提高了23.06%,转移熵提 (c)小波算法融合图像 (d)NSCT融合图像 高了7.11%。与NSCI+PCNN法相比,熵提高了367% 均值提高了21.48%,标准差提高了2.59%,清晰度提高 了1.39%,互信息提高了197%,转移熵提高了4.71%。 通过客观数据比较和主观判断,可以得出本文融合规则 的有效性,融合算法要优于其他三种算法。 (c)NsCT+PCNN融合图像()本文算法融合图像 4结束语 图4原图像与三种算法的融合图俾对比 本文将PCNN在视觉方面的独特优势和NSCT能 190 016,52(8) Computer Engineering and Applications计算机工程与应用 对图像稀疏表示的优点结合起来,提出了一种新的 Transactions on Image Processing, 2005, 14(12): 2091-2106 NSCT域内基于PCNN与区域特征的融合规则,用来解8] Da cunha a l, Zhou j,DoMN. The nonsubsampled 决图像融合中红外目标不明显、图像对比度低的问题。 ontourlet transform: theory, design, and applications[J] 通过大量实验获得了本文融合算法与小波变换法 TEEF Transactions on Imagc Proccssing, 2006, 15(10) NSCT法和低频取平均的NSCT+PCNN三种算法的融 3089-3101 合图像,并对融合图像进行了主观分析和客观评价。分[9刘刚基于非降采样 Contourlet变换(NsCT)的红外与可见 析结果表明本文算法在主观和客观评价上都要优于上 光图像融合及稳健性分析[控制与决策,2010,25(4): 述三种算法,得到的融合图像红外目标突出、对比度高 623-626 边缘细节清晰,证明∫本文算法的有效性和优越性 [10]刘贵喜,赵曙光,陈文锦红外与可见光图像融合的多分 辨率方法[J光电子·激光,2004,15(8):980-984. 参考文献: [I]l刘坤,郭雷,李晖晖,等.基于区域分割的红外与可见光图 』毛士艺,赵巍多传感器图像融合技术综述[J北京航空航 像融合算法的斫究门中国航空学报:英文版,2009,22(1): 天大学学报,2002,28(5):512-518 [2] Toet A Hierarchical image fusion]. Machine Vision and [12] Guo B, Zhang Q, Hou Y Region-based fusion of infrared Applications, 1990, 3(1): 1-11 and visible images using nonsubsampled contourlet trans [3 Burt P Adelson F HThe Laplacian pyramid as a com- form[J]. Chinese Optics Letters, 2008, 6(5): 338-341 pact image code[J]. IEEE Transactions on Communications 13]张莹,李言俊,张科,等基于NSCT的红外与可见光图像 1983,31(4):532-540. 融合[计算机工程与应用,2011,47(3):196-198 4]晁锐,张科,李言俊一种基于小波变换的图像融合算法14美丽,李言俊,主红梅,等,基于NSCT和PCNN的红外 电子学报,2004,32(5):750-753 与可见光图像融合方法[光电工程,2010,37(6):90-95 [s] Pajares G, de la Cruz J MA wavclct-bascd image fusion15]刘贵喜,杨万海基于小波分解的图像融合方法及性能评 tutorial[J]. Pattern Recognition, 2004, 37(9): 1855-1872 价[自动化学报,2002,28(6):927934 6] Candes e, Demanet l, Donoho d, et al. fast discrete curvelet6毕英伟,邱天爽.一种基于简化PCNN的自适应图像分割 transforms[J]. Multiscale Modeling Simulation, 2006 方法[J电了学报,2005,33(4):647-650 5(3):861-899 T7]李新娥,任建岳,吕增明,等NSCT域内基于改进PCNN [7 Do M N, Vetterli M. The contourlet transform: an efficient 和区域能量的多光谱和仝色图像融合方法[J红外与激 directional multiresolution image representation[]IEEE 光工程,2013,42(11):3096-3102 上接162页) [7 Yoon J C, Lee I K, Kang H Image-based dress-up system C/ Proceedings of the 5th International Conference on Ubiqui 参势文献: tous Information Management and Communication, ICLIMC [1 Pan Zhigeng, Chen Tian, Zhang Mingmin, et al. Virtual pre 2011 New York. ACM. 2011 sentation and customization for products based on Inter 8] Zhou Zhenglong, Shu Bo, Zhuo Shaojie, et al. Image-based net[J].International Journal of CAD/CAM, 2004. 4(1) clothes animation for virtual fitting[CisIGGRAlPH Asia 210-223 2012 Technic al Briefs. New York: ACM.2012 2李俊,张明敏,潘志庚人物替换模式的虚拟试衣计算机9张斌,贾晓军涂意个性化体型在2D试衣技术中的应用门 辅助设计与图形学学报,2015,27(9):1694-1700 计算机工程与应用,2012,48(9):149-152 [3 Zeng Xianhui, Ding Yongsheng, Shao Shihuang. Applying 「10]周千明,朱欣娟.一种面向2D虚拟试穿的服装素材处理 方法[几计算机应用与软件,2014,31(4):149-152 image warping technique to implement real-time virtual ]周千明,朱欣娟,胡西民.一种面向2D虚拟试穿的个性化体 try-on based on persons 2D image[c] /2nd International 型定制方法[西安工程大学学报,2013,27(2):225-229 Symposium on Information Science and Engineering [12] Kim H, Park S, Wang J, et al. Advanced bilinear image ISISE 2009 Los Alamitos: IEEE Computcr Socicty, 2010 interpolation based on edge features[C]//2009 Ist Inter 383-387 national Conference on Advances in Multimedia, MMeDIa 14]李健,崔栋梁基于对象仝景图的网络服装展示小计算机 2009. Colmar. IEEE Confcrencc Publications. 2009:33-36 工程与设计,2010,31(5):11113 [1]苗莎,郑晓薇双线性插值图像敚大并行算法的设计与实 [5 Hauswicsncr S, Straka M, Rcitmayr G virtual try-on through 现[门微电子学与计算机.2011,28(11):182-190 image-based rendering[]. IEEE Transactions on Visualiza-[14]李青元,谭海,王涛GnGD绘图函数缺陷与避免方法 tion and Computer Graphics, 2013, 19(9): 1552-1565 研究[门计算机工程与设计,201,32(12):4256-4259 [6]黄俊芳,朱欣娟.电子商务网站中二维服装搭配展小设计与[15]赵春江C#数字图像处理算法典型实例[M]北京:人民邮 实现东华大学学报:自然科学版,2011,37(5):620-623 电出版社,2009:11-19

...展开详情
试读 5P 论文研究-基于PCNN与区域特征的红外与可见光图像融合.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
weixin_38743506 如果觉得有用,不妨留言支持一下
2019-09-10
  • 至尊王者

    成功上传501个资源即可获取
关注 私信 TA的资源
上传资源赚积分or赚钱
    最新推荐
    论文研究-基于PCNN与区域特征的红外与可见光图像融合.pdf 10积分/C币 立即下载
    1/5
    论文研究-基于PCNN与区域特征的红外与可见光图像融合.pdf第1页

    试读结束, 可继续读1页

    10积分/C币 立即下载 >