基于NSST的红外与可见光图像融合算法


-
针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换(NSST)的红外与可 见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向 的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结 合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行 NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于 一般的基于NSCT、NSST的图像融合方法.
第12期 邓立暖:基于NSST的红外与可见光图像融合算法 2967 一般细节信息比较丰富.源图像经过NSST分解后,在 高频子带图像中这些突变较大的部分就会得到绝对值 c()=sM(z()z(D(8) 较大的系数所以,传统的高频融合规则一般采用绝对其中,SML表示改进的拉普拉斯能量,其定义如下: 值取大法例如文献[14]采用的高频融合规则就是取M1=21-1-m-1++21.,-1--l1+ 绝对值较大法.这种方法虽然能够最大程度的把源图 M1)2(N-1)2 SML.= 像中的细节信息融合到最终的融合图像中,但如果源 I+rI+ r=- 图像中存在噪声则会将噪声引入到融合图像中严重式中sep为像素间的可变间距,本文总是为1,表示 影响了融合图像的质量同时,这种基于像素的融合规高频子带图像在(i)处的值.SM表征图像的清晰度, 则没有考虑到图像的相邻像素之间是密切相关的,单通常清晰度较高的区域对应的sM值就较大,因此将 个像素并不能完整体现出图像的特性,图像的很多性其与区域对比度结合,能够自适应地体现出高频子带 质都是由相邻几个像素共同体现的因此采用基于区图像区城的清晰度细节丰富清晰度高的区域理应得 域的融合规则能够更好地表达出图像中的特征,更重到更大的重视,这更符合人的视觉系统特性 要的是,基于像素区域的图像融合规则叮以有效抑制 因此,将改进的区域对比度应用到高频子带图像 源图像中存在的噪声和融合产生的痕迹,使得融合图的融合中,得到本文的高频子带图像融合规则: 像有更好的视觉效果和更高的质量. (10) 根据有关研究,人眼视觉系统对图像的局部对比 B(i ) CA( j)scR(i,j) 度比较敏感,而且人眼的成像特性也是基于频率选择其中,A(i)、B(和F(i,)分别表示源图像A 特性和方向性的,把对比度的概念引入到红外图像与和B以及融合图像F的第k级尺度的第L个方向子带 可见光图像的融合中,利用局部方向对比度来制定基系数的(i)处的值,C(i)、CB(i分别表示源图像 于NST的高频子带系数融合规则,可以尽可能提取到A和B的第h级尺度的第l个方向子带系数对应的改 源图像的高频细节信息,同时充分考虑了红外图像与进对比度在(i)处的值 可见光图像的特点,既能保留可见光图像中丰富的细2.3基于NSST的红外与可见光融合算法流程 节信息而且还能够不降低融合图像的对比度.传统的 假设在对图像进行融合之前,红外与可见光图像 图像对比度C定义为 都已经经过了严格的空间配准.基于NST的红外与可 z(i,) (6)见光图像融合步骤如下 (1)对源图像A、B分别进行N层(本文取N=3) 其中,z(j)表示源图像经NSS分解后得到的第h级NSST分解,得到低频子带图像A8、B以及各尺度各方 尺度的第l个方向的高频子带系数,z()表示分解得向的高频子带图像A、B,k=1,2,…,K,=1,2,…,N, 到的低频子带系数由于上式的对比度定义是基于单个其中N为分解的最大层数K为各层分解的方向数 像素的,而图像的特征是由相邻几个像素共同体现的,各 (2)对低频子带图像和高频子带图像采用不同的 个相邻像素之间具有密切的关系,因此如果将上述对比融合规则进行融合,得到融合后的低频子带图像和高 度直接引人到高频子带图像的融合中,就会割裂像素之频子带图像 间的相关性,同时还可能引入噪声.为了克服基于单像素 (3)对融合后的低频子带和高频子带图像进行 对比度的融合规则的缺点,引入了基于局部区域对比度NSST逆变换,得到最终的融合图像 的高频融合规则,局部区域对比度的定义如下: 算法的流程图如图1所示 ck. (i j)=2(i (7)3实验结果与分析 M2-1 N/2-1 式中,z(i,i) 为了验证本文算法的有效性和优越性,本文选取 MxN=m21)=2-1 ∑(i+r,+c)表 了“ UN Camp”,“ Trees”,“ Octec”,“"Dune”这四组经过严 示低频子带图像的区域均值,MN为区域大小.基于格配准后的红外与可见光图像进行融合实验,所有图 局部区域对比度的高频融合规则考虑了相邻像素之间像大小均为270×360.将本文方法与四种其他具有代 的相关性,能够避免噪声的引入.但是局部区域对比度表性的融合方法进行对比,这四种方法分别是基于 将每个区域都同等地对待,而图像不同区域的显著程NSCT、NSCT与PCNN、NST、NSST与PCNN的图像融合 度是各不相同的,这与人类视觉系统对视觉显著区域方法在本文方法中,NST分解级数为3,尺度分解采 给予更高的重视是相违背的.因此本文提出了一种新用“ maxflat”滤波器,在各个尺度上分解的滤波方向个 的局部区域对比度,其定义如下: 数分别为6、10、18,阈值为0.9,区域大小为9×9.实验 2968 电子学报 2017年 上述的主观视觉分析只是从人眼视觉感受去评价 红外图像 可见光图像 各种融合方法的优劣,为了更加客观公正地进行评价, NSST正变换 NSSTI变换 还需根据标准差( Standard Deviation,SD)、熵值( Entro py)、平均梯度( Average Gradient,AG)、空间频率(Spa 低频系数 高频系数低频系数 高颍系数 lial frecμ uency,SF)客观评价指标进行评价 低频融合规则 高频融合规则 低频融合系数 高频融合系数 (a)红外图像 (b)可见光图像 (c) NSCT NS逆变换 融合图像 图1基于NSST的红外与可见光图像融合 (d) NSCT+PCNN (e)NSsI ()NSST+PCNN 结果如图2~图5所示,图2~图5的子图(a)表示红外 图像;子图(b)表示可见光图像;子图(c)是基于NSCT 的融合方法所对应的融合结果;子图(d)是基于NSCT 与PCNN的融合方法所对应的融合结果;子图(e)是基 于NSST的融合方法所对应的融合结果;子图()是基 (g)本文算法 于NSST与PCNN的融合方法所对应的融合结果;子图 图3“Tres”图像的融合结果 (g)是本文方法所对应的融合结果 (a)红外图像 (b)可见光图像 (c)NSCT a)红外图像 (b)可见光图像 (c) NSCT (d) NSCT+PCNN (e) NSst ( NSST+PCNN (d) NSCT+PCNN (e) NSST NSST+PCNN (g)本文算法 图4“ Octec”的融合结果 (g)本文算法 图2“ UN Camp”图像的融合结果 上述四组融合实验所对应的客观评价指标如表1 表4所示: 图2~图5也显示了各个图像各种算法的融合结 表1“ UN Camp"图像融合实验结果 果,从图中我们能够发现,基于NSCT基于NSCT与PC 融合方法 E SD AG SF T(s) NN的融合方法所对应的融合图像场景细节比较模糊 而基于NSST和基于NSST与PCNN的融合方法所对应 NsCT6.790930.40184.48431.173113.12 的融合图像场景细节则相对较清晰一些,但对比度不 NSCT+PCN6738630.00923.929952423.95 高,整体显得灰暗,区域过渡不够自然.与其他融合方法 NSST 6574827.37934.l1610.38756.82 相比,本文提出的融合方法所获得的融合图像中的场NsT+PCN425.574034910.212442 景细节更清晰,对比度更高,图像显得更有层次,更适合 本文算法7.126438.37534.68211.4456.33 人眼视觉的观察 第12期 邓立暖:基于NSST的红外与可见光图像融合算法 2969 的,从而说明通过本文所提出的融合方法比其他融合 方法所获得的融合图像,其本身质量更高,但是本文方 法在一定程度上扭曲了源图像的结构信息,但这是无 法避免的,因为要想获得更好的融合效果,就需要在参 (a)红外图像 (b)可见光图像 (c)NSCT 与融合的源图像之间达到一个平衡从运行时间来看, 本文方法所需要的时间更少,因此更适合用在对实时 性要求较高的场合 基于显著图的低频融合规则不会使得融合图像对 比度下降,融合图像屮的显著目标变得模糊,并且边缘 ()NSCT+PCNN (e) NSST (NSST+PCNN 信息的模糊现象也有一定提高;本文改进的高频融合 规则不会将噪声引入到融合图像中;并且考虑人类视 觉系统对不同区域的重视程度是不一样的特点.基于 以上两点本文算法要优于对比的其他融合算法.实验 (g)木文算法 表明从主观效果和客观评价指标都表明本文算法要优 图5“Dune”的融合结果 于对比的其他融合算法 表2“Tres"图像融合实验 4结论 融合方法 E D Ag T(s) 本文提出了一种新的基于NSST的红外与可见光 NSCT 6.282221.83643.4739.174812.95 图像融合方法,该方法充分利用红外与可见光图像的 待点,针对低频子带图像的融合,采用了一种基于显著 NSCI+PNN6.134914112.40685.83724. 图的低频融合规则,针对高频子带图像的融合,依据人 NSST 6389321.46343.19098.5452671 眼视觉对图像对比度更敏感以及对图像显著区域给予 NST+PCN|5.987115.86652.9047.471142.99 更高的重视的特性,提出了一种基于改进的区域对比 度的高频融合规则.实验结果表明,无论是从主观视觉 本文算法6.754830.76153.7117949786.39 分析还是从客观评价指标进行评价,本文算法所获得 表3“ocec"图像融合结果 的融合图像质量更高,同时本文算法也具有更好的实 时性,具有一定的实用价值和理论意义 融合方法 E AG T(s) NSCT 6.804742.79435.255620.545312.91 参考文献 NsCT+PCNN6.724441.97434.323918.9923.71 [1]郭雷,李晖晖,鲍永生.图像融合[M].北京:电子工业出 版社,2008.1-5 NSST 6806835.70215.24120.40716.74 [2]郭明,符拯,奚晓梁.基于局部能量的NSCT域红外与可 NSST+PCNN6.518428.95624.843119.17142.3 见光图像融合算法[J].红外与激光工程,2012,41(8): 本文算法7.292757.08645.394020.68326 2229-2235 Guo Ming, Fu Zheng, Xi Xiaoliang. Based on the local en- 表4“Dune"图像融合结果 ergy nsct domain fusion algorithm of infrared and visible 融合方法 E SD AG T(s) images [J], Infrared and Laser Engineering, 2012, 41(8) NSCT7.144934.546.179314164213.03 2229-2235. (in Chinese) [3]T Ranchin, L Wald. The wavelet transform for the analysis NsCT+PCN|7.10933.79135.268211.668424.81 of remotely sensed images [J], Intermational Journal of Re NSST 6916229.52235.37412.35856.77 mote Sensing,1993,14(3):615-619 NsT+PCNN6.907729.4885.20811.779343.3 [4 Yin Lu, Fuxiang Wang, Xiaoyan Luo, Feng Liu Novel in 本文算法.529468336.1877140976.45 frared and visible image fusion method based on independ ent component analysis[J. Frontiers of Computer Science 从上面四组融合实验的客观评价指标来看,本文 2014,8(2):243-254 方法所获得的客观评价指标在熵、标准差、平均梯度、空[5] Yan Xiang, Qin Hanlin,Lija, Zhou huixin, Zong Jing 间频率上拥有一定的优势,这与主观视觉分析是一致 guo. Infrared and visible image fusion with spectral graph 2970 电子学报 2017 年 wavelet transform J] Journal of the Optical Society of A metric wavelet [J]. Acta Eletronica Sinica, 2011, 39(5) merica A Optics, Image Science, and Vision, 2015, 32 1094-1099. (in Chinese) (9):1643-52 [11]吴粉侠,段群.基于NSCT的PCA与PCNN相结合的图 [6]Candes E J, Donoho D L Ridgelets: a key to higher-dimen 像融合算法[].计算机技术与发展,2015,(12):72- sional intermittency.J. Philosophical Transactions Mathe- 75+79, matical, physical and Engineering Sciences, 1999, 357 Wu Fenxia, duan Qun Image fusion algorithm bascd on (1760):2495-2509 NSCT, PCA and PCNN [J]. Computer Technology and [7] Candes E J, D L Donoho. Curvelets-a surprisingly effective Development, 2015, (12): 72-75 +79.( in Chinese) nonadaptive representation for objects with edges Curves [12] Guo K, Labate D Optimally sparse multidimensional rep- and Sufaces [A]. Curve and Surface Fitting: Saint-Malo resentation using shearlets[J]. SIAM Journal on Mathe- 1999[C]. Nash Ville: Vanderbilt University Press, 2000.1 matical Alalysis, 2007, 39(1): 298-318 13 Easley G, Labate D, Lim w Q. Sparse directional image [8]MNDO, M Vetterli. The contourlet transform; an efficient representation using discrete shearlet transform [J]. ap- directional multiresolution image representation [J].IEEE plied and Computation Harmonic Analysis, 2008, 25(1) Transactions on Image Processing, 2005, 14( 12): 2091 25-46 2106 14] Huang Qingqing, Ji Yuan, Yang Jian. Improved fusion [9]A L Da Cunha, Jianping Zhou, M N Do. The nonsubsam- method for infrared and visible remote sensing imagery u- Dled contourlet transform theory, design, and applications sing NSCT [A] 2011 6th IEEE Conference on Industrial [J. IEEE Transactions on Image Processing, 2006, 15 Electronics and Applications [C]. Beijing, China: IEEE (10):3089-3101 2011.1012-1015. [10]刘斌,彭家雄.基于非下采样三通道不可分对称小波的[15] Jufeng Zhao, Qiang Zhou. Fusion of visible and infrared 多光谱图像融合[J].电子学报.2011,39(5):1094 images using saliency analysis and detail preserving based 1099 image decomposition [J]. Infrared Physics Technology Liu Bin, Peng Ka hung Multi spectral image fusion based 013,56(2013):93-99 on nonsubsampled three channels can be divided into sym 作者简介 邓立暖女,1989年5月出生,吉林省四 尧新峰男,1991年1月出生,江西抚州 平人现为吉林师范大学博达学院教师毕业于 人,东北大学研究生,主安研究方向图像处理. 东北大学.主要研究方向为图像处理 E-maildenglinuan@126.com
-
2019-10-28
305KB
NSST非下采样剪切波变换工具箱
2019-02-21NSST非下采样剪切波变换工具箱,可用于红外与可见光图像分解融合等领域
如何用python实现NSST与NSCT的图像融合?_course
2019-12-27想问一下python有没有与NSST和NSCT相关的库和函数?
2.69MB
红外图像与可见光图像(图像融合)
2018-11-30已经配准的红外图像与可见光图像数据集,做图像融合用
499KB
基于NSCT的红外与可见光图像融合算法
2015-05-04针对红外与可见光图像融合, 提出了一种基于 NSCT 的图像融合方法。首先对图像进行 NSCT 分解;然后对分 解后的子带系数采用基于区域能量匹配度的融合规则分别进行融合:对于低频子带, 使用区域能量
17KB
红外与可见光图像自适应融合源代码
2012-02-20针对低可见光图像和红外图像的特点,提出一种基于 DT-CWT的自适应图像融合算法.该算法具有好的平移不变性和方向选择性,更适合于人类视觉.先对源图像作双树复小波变换,充分考虑各尺度分解层的系数 特征,
18.61MB
红外与可见光图像融合——NSST算法(Matlab)
2020-07-04非下采样剪切波算法(NSST)。内含多组测试的红外与可见光图像(灰度图像),以及质量评价指标,可直接调试。
878KB
红外图像与可见光图像融合笔记
2018-06-22讲述了红外图像与可见光图像的成像方式的不同,以及用各种不同的变换来融合红外图像和可见光图像。
152.13MB
菜菜sklearn课程讲义.rar
2021-03-05适合正在学习机器学习sklearn库的使用教程,关注即可下载哦~
微信小程序样式开发入门
2019-01-07讲解微信小程序中样式的入门使用,如何使用传统的css知识点来开发wxss的样式;本节课主要讲解在微信小程序中创建样式的几种 写法,元素选择器的基础使用,id选择器和id派生选择器的使用,class类选择器的使用。
企业员工角色权限管理平台(SpringBoot2.0+Mybatis+Shiro+Vue)
2019-08-07课程简介: 历经半个多月的时间,Debug亲自撸的 “企业员工角色权限管理平台” 终于完成了。正如字面意思,本课程讲解的是一个真正意义上的、企业级的项目实战,主要介绍了企业级应用系统中后端应用权限的管理,其中主要涵盖了六大核心业务模块、十几张数据库表。 其中的核心业务模块主要包括用户模块、部门模块、岗位模块、角色模块、菜单模块和系统日志模块;与此同时,Debug还亲自撸了额外的附属模块,包括字典管理模块、商品分类模块以及考勤管理模块等等,主要是为了更好地巩固相应的技术栈以及企业应用系统业务模块的开发流程! 核心技术栈列表: 值得介绍的是,本课程在技术栈层面涵盖了前端和后端的大部分常用技术,包括Spring Boot、Spring MVC、Mybatis、Mybatis-Plus、Shiro(身份认证与资源授权跟会话等等)、Spring AOP、防止XSS攻击、防止SQL注入攻击、过滤器Filter、验证码Kaptcha、热部署插件Devtools、POI、Vue、LayUI、ElementUI、JQuery、HTML、Bootstrap、Freemarker、一键打包部署运行工具Wagon等等,如下图所示: 课程内容与收益: 总的来说,本课程是一门具有很强实践性质的“项目实战”课程,即“企业应用员工角色权限管理平台”,主要介绍了当前企业级应用系统中员工、部门、岗位、角色、权限、菜单以及其他实体模块的管理;其中,还重点讲解了如何基于Shiro的资源授权实现员工-角色-操作权限、员工-角色-数据权限的管理;在课程的最后,还介绍了如何实现一键打包上传部署运行项目等等。如下图所示为本权限管理平台的数据库设计图: 以下为项目整体的运行效果截图: 值得一提的是,在本课程中,Debug也向各位小伙伴介绍了如何在企业级应用系统业务模块的开发中,前端到后端再到数据库,最后再到服务器的上线部署运行等流程,如下图所示:
Java学习指南(Java入门与进阶)
2017-08-09这是Java学习指南系列课程的第1篇,介绍Java语言的入门语法,引领希望学习Java语言编程的初学者进入Java大门。 本课程不需要其他语言作为基础,可以直接学习。 课程从Java开发平台的下载和安装开始,从浅到深、从易到难,循序渐进地进行语法讲解。 为了让学员更好的掌握Java语言,本课程配套在线的Java题库及答案解析。 相比于其他语言,Java语言更科学、更容易掌握,快来和大家一起学习Java吧。
57.86MB
微信小程序源码-合集5.rar
2020-09-04微信小程序源码,包含:豆瓣、微信、论坛、停车、房贷计算、股票、蜗牛生活、物品回收、学车预约、住房装修、斗鱼直播、水利、快拍、同城等源码。
程序员的数学:微积分
2019-09-28本课程介绍程序员必备的数学基础内容,在取材上侧重人工智能、数据分析等热门领域
- 实时 摔倒识别 /运动分析/打架等异常行为识别/控制手势识别等所有行为识别全家桶 原理 + 代码 + 数据+ 模型 开源! 40522021-03-02文章目录一、 基本过程和思想二 、视频理解还有哪些优秀框架三、效果体验~使用手势:python run_gesture_recognition.py健身_跟踪器:卡路里计算三、训练自己数据集步骤然后,打开这个网址:点击一下start new project但是官方的制作方法是有着严重bug的~我们该怎么做呢!原代码解读 大家好,我是cv君,很多大创,比赛,项目,工程,科研,学术的炼丹术士问我上述这些识别,该怎么做,怎么选择框架,今天可以和大家分析一下一些方案: 用单帧目标检测做的话,前后语义相关性很差(也有
117B
Keil5安装包
2019-05-23Keil5安装包,附带STM31F1、STM32F4支持包以及破解软件。
爬虫架构师的逆袭之路
2019-12-23在这个信息泛滥的时代,掌握实施有效的数据是诸多企业生存的关键, 面对市场上对数据的无限渴求,Python爬虫工程师炙手可热, 那么毛也不会的你想要摇身一变成为爬虫架构师需要怎么做呢? 啥也别想了,赶紧下单,这个课,真好!
C语言入门--必须基础17讲
2017-07-28适合没有基础的人群学习C语言,简单的入门教程。帮助小白理解什么是开发,什么是编程。做的很简单,很多细节没有详细讲解,不适合用来深入研究。学了这个,你能理解什么是编程,什么是C语言。
-
下载
Exercicio2:锻炼和锻炼Gith e Github-源码
Exercicio2:锻炼和锻炼Gith e Github-源码
-
下载
staticLayoutProject-源码
staticLayoutProject-源码
-
下载
蓝桥杯单片机proteus仿真.zip
蓝桥杯单片机proteus仿真.zip
-
学院
MySQL 索引
MySQL 索引
-
学院
2021年软考系统规划与管理师-上午历年真题解析视频课程
2021年软考系统规划与管理师-上午历年真题解析视频课程
-
下载
liteidex37.4.win64-qt5.14.2.zip
liteidex37.4.win64-qt5.14.2.zip
-
博客
收藏!这些 IDE 使用技巧,你都知道吗
收藏!这些 IDE 使用技巧,你都知道吗
-
博客
手把手教你安装SecureCRT8.7以及注册全过程
手把手教你安装SecureCRT8.7以及注册全过程
-
学院
CCNA_CCNP 思科网络认证 动态路由 RIP 协议
CCNA_CCNP 思科网络认证 动态路由 RIP 协议
-
博客
一些写的比较好的原理 地址
一些写的比较好的原理 地址
-
下载
ada-pets-node-源码
ada-pets-node-源码
-
下载
LawroomApp-源码
LawroomApp-源码
-
博客
队列queue
队列queue
-
学院
《文本处理 awk sed grep ”三剑客”》<Linux核心命令
《文本处理 awk sed grep ”三剑客”》<Linux核心命令
-
下载
2020-2025年中国光伏自动化生产线行业发展趋势预测与发展战略咨询报告.pdf
2020-2025年中国光伏自动化生产线行业发展趋势预测与发展战略咨询报告.pdf
-
学院
CCNA_CCNP 思科网络认证 《 综合案例设计_配置高可用企业网络
CCNA_CCNP 思科网络认证 《 综合案例设计_配置高可用企业网络
-
博客
Git :fatal: refusing to merge unrelated histories解决
Git :fatal: refusing to merge unrelated histories解决
-
博客
leetcode1502. 判断能否形成等差数列(小学生难度)
leetcode1502. 判断能否形成等差数列(小学生难度)
-
学院
基于微信学校新生报到小程序 毕业设计毕设源码使用教程
基于微信学校新生报到小程序 毕业设计毕设源码使用教程
-
下载
assegura-Lgbtqia-API-源码
assegura-Lgbtqia-API-源码
-
下载
优质资源整合 快闪.7z
优质资源整合 快闪.7z
-
学院
Cocos Creator游戏开发-疯狂弹球 视频教程
Cocos Creator游戏开发-疯狂弹球 视频教程
-
博客
2021-03-08
2021-03-08
-
博客
基于Java的OA系统的设计与实现
基于Java的OA系统的设计与实现
-
博客
VS小番茄插件常用快捷键
VS小番茄插件常用快捷键
-
博客
如何理解最新http代理ip的隧道技术
如何理解最新http代理ip的隧道技术
-
下载
GUN Binutls gas手册 汇编
GUN Binutls gas手册 汇编
-
下载
reactshop-源码
reactshop-源码
-
博客
杨辉三角
杨辉三角
-
学院
CCNA_CCNP 思科网络认证 动态路由 EIGRP 和 OSPF
CCNA_CCNP 思科网络认证 动态路由 EIGRP 和 OSPF