基于NSST的红外与可见光图像融合算法

所需积分/C币:12 2019-04-01 16:12:25 2.96MB PDF
126
收藏 收藏
举报

针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换(NSST)的红外与可 见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向 的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结 合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行 NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于 一般的基于NSCT、NSST的图像融合方法.
第12期 邓立暖:基于NSST的红外与可见光图像融合算法 2967 一般细节信息比较丰富.源图像经过NSST分解后,在 高频子带图像中这些突变较大的部分就会得到绝对值 c()=sM(z()z(D(8) 较大的系数所以,传统的高频融合规则一般采用绝对其中,SML表示改进的拉普拉斯能量,其定义如下: 值取大法例如文献[14]采用的高频融合规则就是取M1=21-1-m-1++21.,-1--l1+ 绝对值较大法.这种方法虽然能够最大程度的把源图 M1)2(N-1)2 SML.= 像中的细节信息融合到最终的融合图像中,但如果源 I+rI+ r=- 图像中存在噪声则会将噪声引入到融合图像中严重式中sep为像素间的可变间距,本文总是为1,表示 影响了融合图像的质量同时,这种基于像素的融合规高频子带图像在(i)处的值.SM表征图像的清晰度, 则没有考虑到图像的相邻像素之间是密切相关的,单通常清晰度较高的区域对应的sM值就较大,因此将 个像素并不能完整体现出图像的特性,图像的很多性其与区域对比度结合,能够自适应地体现出高频子带 质都是由相邻几个像素共同体现的因此采用基于区图像区城的清晰度细节丰富清晰度高的区域理应得 域的融合规则能够更好地表达出图像中的特征,更重到更大的重视,这更符合人的视觉系统特性 要的是,基于像素区域的图像融合规则叮以有效抑制 因此,将改进的区域对比度应用到高频子带图像 源图像中存在的噪声和融合产生的痕迹,使得融合图的融合中,得到本文的高频子带图像融合规则: 像有更好的视觉效果和更高的质量. (10) 根据有关研究,人眼视觉系统对图像的局部对比 B(i ) CA( j)scR(i,j) 度比较敏感,而且人眼的成像特性也是基于频率选择其中,A(i)、B(和F(i,)分别表示源图像A 特性和方向性的,把对比度的概念引入到红外图像与和B以及融合图像F的第k级尺度的第L个方向子带 可见光图像的融合中,利用局部方向对比度来制定基系数的(i)处的值,C(i)、CB(i分别表示源图像 于NST的高频子带系数融合规则,可以尽可能提取到A和B的第h级尺度的第l个方向子带系数对应的改 源图像的高频细节信息,同时充分考虑了红外图像与进对比度在(i)处的值 可见光图像的特点,既能保留可见光图像中丰富的细2.3基于NSST的红外与可见光融合算法流程 节信息而且还能够不降低融合图像的对比度.传统的 假设在对图像进行融合之前,红外与可见光图像 图像对比度C定义为 都已经经过了严格的空间配准.基于NST的红外与可 z(i,) (6)见光图像融合步骤如下 (1)对源图像A、B分别进行N层(本文取N=3) 其中,z(j)表示源图像经NSS分解后得到的第h级NSST分解,得到低频子带图像A8、B以及各尺度各方 尺度的第l个方向的高频子带系数,z()表示分解得向的高频子带图像A、B,k=1,2,…,K,=1,2,…,N, 到的低频子带系数由于上式的对比度定义是基于单个其中N为分解的最大层数K为各层分解的方向数 像素的,而图像的特征是由相邻几个像素共同体现的,各 (2)对低频子带图像和高频子带图像采用不同的 个相邻像素之间具有密切的关系,因此如果将上述对比融合规则进行融合,得到融合后的低频子带图像和高 度直接引人到高频子带图像的融合中,就会割裂像素之频子带图像 间的相关性,同时还可能引入噪声.为了克服基于单像素 (3)对融合后的低频子带和高频子带图像进行 对比度的融合规则的缺点,引入了基于局部区域对比度NSST逆变换,得到最终的融合图像 的高频融合规则,局部区域对比度的定义如下: 算法的流程图如图1所示 ck. (i j)=2(i (7)3实验结果与分析 M2-1 N/2-1 式中,z(i,i) 为了验证本文算法的有效性和优越性,本文选取 MxN=m21)=2-1 ∑(i+r,+c)表 了“ UN Camp”,“ Trees”,“ Octec”,“"Dune”这四组经过严 示低频子带图像的区域均值,MN为区域大小.基于格配准后的红外与可见光图像进行融合实验,所有图 局部区域对比度的高频融合规则考虑了相邻像素之间像大小均为270×360.将本文方法与四种其他具有代 的相关性,能够避免噪声的引入.但是局部区域对比度表性的融合方法进行对比,这四种方法分别是基于 将每个区域都同等地对待,而图像不同区域的显著程NSCT、NSCT与PCNN、NST、NSST与PCNN的图像融合 度是各不相同的,这与人类视觉系统对视觉显著区域方法在本文方法中,NST分解级数为3,尺度分解采 给予更高的重视是相违背的.因此本文提出了一种新用“ maxflat”滤波器,在各个尺度上分解的滤波方向个 的局部区域对比度,其定义如下: 数分别为6、10、18,阈值为0.9,区域大小为9×9.实验 2968 电子学报 2017年 上述的主观视觉分析只是从人眼视觉感受去评价 红外图像 可见光图像 各种融合方法的优劣,为了更加客观公正地进行评价, NSST正变换 NSSTI变换 还需根据标准差( Standard Deviation,SD)、熵值( Entro py)、平均梯度( Average Gradient,AG)、空间频率(Spa 低频系数 高频系数低频系数 高颍系数 lial frecμ uency,SF)客观评价指标进行评价 低频融合规则 高频融合规则 低频融合系数 高频融合系数 (a)红外图像 (b)可见光图像 (c) NSCT NS逆变换 融合图像 图1基于NSST的红外与可见光图像融合 (d) NSCT+PCNN (e)NSsI ()NSST+PCNN 结果如图2~图5所示,图2~图5的子图(a)表示红外 图像;子图(b)表示可见光图像;子图(c)是基于NSCT 的融合方法所对应的融合结果;子图(d)是基于NSCT 与PCNN的融合方法所对应的融合结果;子图(e)是基 于NSST的融合方法所对应的融合结果;子图()是基 (g)本文算法 于NSST与PCNN的融合方法所对应的融合结果;子图 图3“Tres”图像的融合结果 (g)是本文方法所对应的融合结果 (a)红外图像 (b)可见光图像 (c)NSCT a)红外图像 (b)可见光图像 (c) NSCT (d) NSCT+PCNN (e) NSst ( NSST+PCNN (d) NSCT+PCNN (e) NSST NSST+PCNN (g)本文算法 图4“ Octec”的融合结果 (g)本文算法 图2“ UN Camp”图像的融合结果 上述四组融合实验所对应的客观评价指标如表1 表4所示: 图2~图5也显示了各个图像各种算法的融合结 表1“ UN Camp"图像融合实验结果 果,从图中我们能够发现,基于NSCT基于NSCT与PC 融合方法 E SD AG SF T(s) NN的融合方法所对应的融合图像场景细节比较模糊 而基于NSST和基于NSST与PCNN的融合方法所对应 NsCT6.790930.40184.48431.173113.12 的融合图像场景细节则相对较清晰一些,但对比度不 NSCT+PCN6738630.00923.929952423.95 高,整体显得灰暗,区域过渡不够自然.与其他融合方法 NSST 6574827.37934.l1610.38756.82 相比,本文提出的融合方法所获得的融合图像中的场NsT+PCN425.574034910.212442 景细节更清晰,对比度更高,图像显得更有层次,更适合 本文算法7.126438.37534.68211.4456.33 人眼视觉的观察 第12期 邓立暖:基于NSST的红外与可见光图像融合算法 2969 的,从而说明通过本文所提出的融合方法比其他融合 方法所获得的融合图像,其本身质量更高,但是本文方 法在一定程度上扭曲了源图像的结构信息,但这是无 法避免的,因为要想获得更好的融合效果,就需要在参 (a)红外图像 (b)可见光图像 (c)NSCT 与融合的源图像之间达到一个平衡从运行时间来看, 本文方法所需要的时间更少,因此更适合用在对实时 性要求较高的场合 基于显著图的低频融合规则不会使得融合图像对 比度下降,融合图像屮的显著目标变得模糊,并且边缘 ()NSCT+PCNN (e) NSST (NSST+PCNN 信息的模糊现象也有一定提高;本文改进的高频融合 规则不会将噪声引入到融合图像中;并且考虑人类视 觉系统对不同区域的重视程度是不一样的特点.基于 以上两点本文算法要优于对比的其他融合算法.实验 (g)木文算法 表明从主观效果和客观评价指标都表明本文算法要优 图5“Dune”的融合结果 于对比的其他融合算法 表2“Tres"图像融合实验 4结论 融合方法 E D Ag T(s) 本文提出了一种新的基于NSST的红外与可见光 NSCT 6.282221.83643.4739.174812.95 图像融合方法,该方法充分利用红外与可见光图像的 待点,针对低频子带图像的融合,采用了一种基于显著 NSCI+PNN6.134914112.40685.83724. 图的低频融合规则,针对高频子带图像的融合,依据人 NSST 6389321.46343.19098.5452671 眼视觉对图像对比度更敏感以及对图像显著区域给予 NST+PCN|5.987115.86652.9047.471142.99 更高的重视的特性,提出了一种基于改进的区域对比 度的高频融合规则.实验结果表明,无论是从主观视觉 本文算法6.754830.76153.7117949786.39 分析还是从客观评价指标进行评价,本文算法所获得 表3“ocec"图像融合结果 的融合图像质量更高,同时本文算法也具有更好的实 时性,具有一定的实用价值和理论意义 融合方法 E AG T(s) NSCT 6.804742.79435.255620.545312.91 参考文献 NsCT+PCNN6.724441.97434.323918.9923.71 [1]郭雷,李晖晖,鲍永生.图像融合[M].北京:电子工业出 版社,2008.1-5 NSST 6806835.70215.24120.40716.74 [2]郭明,符拯,奚晓梁.基于局部能量的NSCT域红外与可 NSST+PCNN6.518428.95624.843119.17142.3 见光图像融合算法[J].红外与激光工程,2012,41(8): 本文算法7.292757.08645.394020.68326 2229-2235 Guo Ming, Fu Zheng, Xi Xiaoliang. Based on the local en- 表4“Dune"图像融合结果 ergy nsct domain fusion algorithm of infrared and visible 融合方法 E SD AG T(s) images [J], Infrared and Laser Engineering, 2012, 41(8) NSCT7.144934.546.179314164213.03 2229-2235. (in Chinese) [3]T Ranchin, L Wald. The wavelet transform for the analysis NsCT+PCN|7.10933.79135.268211.668424.81 of remotely sensed images [J], Intermational Journal of Re NSST 6916229.52235.37412.35856.77 mote Sensing,1993,14(3):615-619 NsT+PCNN6.907729.4885.20811.779343.3 [4 Yin Lu, Fuxiang Wang, Xiaoyan Luo, Feng Liu Novel in 本文算法.529468336.1877140976.45 frared and visible image fusion method based on independ ent component analysis[J. Frontiers of Computer Science 从上面四组融合实验的客观评价指标来看,本文 2014,8(2):243-254 方法所获得的客观评价指标在熵、标准差、平均梯度、空[5] Yan Xiang, Qin Hanlin,Lija, Zhou huixin, Zong Jing 间频率上拥有一定的优势,这与主观视觉分析是一致 guo. Infrared and visible image fusion with spectral graph 2970 电子学报 2017 年 wavelet transform J] Journal of the Optical Society of A metric wavelet [J]. Acta Eletronica Sinica, 2011, 39(5) merica A Optics, Image Science, and Vision, 2015, 32 1094-1099. (in Chinese) (9):1643-52 [11]吴粉侠,段群.基于NSCT的PCA与PCNN相结合的图 [6]Candes E J, Donoho D L Ridgelets: a key to higher-dimen 像融合算法[].计算机技术与发展,2015,(12):72- sional intermittency.J. Philosophical Transactions Mathe- 75+79, matical, physical and Engineering Sciences, 1999, 357 Wu Fenxia, duan Qun Image fusion algorithm bascd on (1760):2495-2509 NSCT, PCA and PCNN [J]. Computer Technology and [7] Candes E J, D L Donoho. Curvelets-a surprisingly effective Development, 2015, (12): 72-75 +79.( in Chinese) nonadaptive representation for objects with edges Curves [12] Guo K, Labate D Optimally sparse multidimensional rep- and Sufaces [A]. Curve and Surface Fitting: Saint-Malo resentation using shearlets[J]. SIAM Journal on Mathe- 1999[C]. Nash Ville: Vanderbilt University Press, 2000.1 matical Alalysis, 2007, 39(1): 298-318 13 Easley G, Labate D, Lim w Q. Sparse directional image [8]MNDO, M Vetterli. The contourlet transform; an efficient representation using discrete shearlet transform [J]. ap- directional multiresolution image representation [J].IEEE plied and Computation Harmonic Analysis, 2008, 25(1) Transactions on Image Processing, 2005, 14( 12): 2091 25-46 2106 14] Huang Qingqing, Ji Yuan, Yang Jian. Improved fusion [9]A L Da Cunha, Jianping Zhou, M N Do. The nonsubsam- method for infrared and visible remote sensing imagery u- Dled contourlet transform theory, design, and applications sing NSCT [A] 2011 6th IEEE Conference on Industrial [J. IEEE Transactions on Image Processing, 2006, 15 Electronics and Applications [C]. Beijing, China: IEEE (10):3089-3101 2011.1012-1015. [10]刘斌,彭家雄.基于非下采样三通道不可分对称小波的[15] Jufeng Zhao, Qiang Zhou. Fusion of visible and infrared 多光谱图像融合[J].电子学报.2011,39(5):1094 images using saliency analysis and detail preserving based 1099 image decomposition [J]. Infrared Physics Technology Liu Bin, Peng Ka hung Multi spectral image fusion based 013,56(2013):93-99 on nonsubsampled three channels can be divided into sym 作者简介 邓立暖女,1989年5月出生,吉林省四 尧新峰男,1991年1月出生,江西抚州 平人现为吉林师范大学博达学院教师毕业于 人,东北大学研究生,主安研究方向图像处理. 东北大学.主要研究方向为图像处理 E-maildenglinuan@126.com

...展开详情
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
rrr2 一篇论文,没有code.被误导了
2019-10-28
回复
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
关注 私信
上传资源赚积分or赚钱
最新推荐