没有合适的资源?快使用搜索试试~ 我知道了~
基于并联卷积神经网络的图像去雾.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 171 浏览量
2023-02-23
16:51:25
上传
评论
收藏 2.39MB DOCX 举报
温馨提示
试读
16页
基于并联卷积神经网络的图像去雾.docx
资源推荐
资源详情
资源评论
雾霾天气情况下, 悬浮在大气中的微小颗粒对光线的散射和吸收作用, 导致采集到的
图像对比度与饱和度降低, 色调偏移, 严重影响了户外视觉系统的效用. 因此, 雾天图像的
清晰化处理成为计算机视觉领域中的一个重要问题. 现有的图像去雾方法主要有两种, 其一
是基于图像增强的方法, 这种方法不考虑图像退化的原因, 会造成图像信息的损失. 如基于
颜色恒常性的 Retinex 理论
[1-2]
、基于路径 Retinex 算法
[3-4]
和迭代形式的 Retinex 算法
[5]
, 这些
算法都存在参数调整困难且算法复杂度高的问题. 其二是基于图像复原的方法, 此方法利用
图像退化的先验知识和假设来恢复图像, 去雾图像信息缺失较基于物理模型的图像复原方
法少, 去雾效果自然. 如 He 等
[6]
提出了一种基于暗原色先验知识统计(Dark channel prior,
DCP)的方法. 但 He 的暗通道先验方法过高估计雾的浓度,导致去雾后图像整体亮度偏暗,且
天空区域常出现失真现象. Zhu 等
[7]
提出了颜色衰减先验(Color attenuation prior, CAP). 尽管
上述算法取得了很大的进步, 但它们仍然依赖于各种先验知识, 具有一定的局限性.
近些年来, 随着深度学习理论在语义分割
[8]
、目标识别
[9]
、图像超分辨率重建
[10]
等方面
的不断发展, 一些学者将该理论用于图像去雾领域也获得了较好的效果. 如 Cai 等
[11]
提出的
DehazeNet 训练预测的传输图. Ren 等
[12]
设计了多尺度卷积神经网络(Multi-scade
convolutional neural network, MSCNN)估计了场景的透射率. Li 等
[13]
提出了 Cascaded CNN,
该网络分别估计大气光值和传输图. 由于这几种基于卷积神经网络的方法是分别估计介质
传输图和大气光值的, 所以增加了恢复去雾图像的累计误差. 为此, 我们的目标是通过直观
地最大化预测图像和无雾图像之间的视觉相似性来训练一个去雾卷积神经网络.
与以往的估计介质传输图方法不同的是, 我们直接利用雾天图像和清晰图像训练卷积
神经网络. 为此, 本文提出了一种基于并联卷积神经网络的单幅图像去雾算法. 首先, 使用
雾天 RGB 图像 YUV 变换的 Y、U 和 V 分量构建并联卷积神经网络, 自适应获得雾霾特征;
其次, 利用多尺度卷积提取雾霾特征与重建, 并且跳跃连接减少了网络参数, 提高了网络训
练速度; 最后, 采用递归双边滤波, 对去雾后的 RGB 图像进行滤波, 可以得到更加清晰的
无雾图像.
1. 相关理论
1.1 大气散射模型
在计算机视觉领域中, 通常使用大气散射物理模型
[14]
来描述雾天图像的退化过程, 该
模型广泛用于图像去雾技术的研究, 用公式可表示为
I(x)=t(x)J(x)+A(1−t(x))I(x)=t(x)J(x)+A(1−t(x))
(1)
其中, I(x)I(x)为采集到的雾天图像, J(x)J(x)为清晰图像, t(x)t(x)为介质传输图, AA 为大
气光值. 当大气同质时, 介质传输图可以定义为
t(x)=e−βd(x),0≤t(x)≤1t(x)=e−βd(x),0≤t(x)≤1
(2)
其中, ββ 为散射率, 当大气均匀时, 在一定时刻对于整幅图像来说散射率是一个定
值, d(x)d(x)为场景对象到传感器的距离, 即场景深度.
1.2 理论分析
由式(1)可知, 传输图可表示为
t(x)=∥A−I(x)∥∥A−J(x)∥t(x)=‖A−I(x)‖‖A−J(x)‖
(3)
雾霾天气的大气光照导致 RGB 色彩空间发生一定的变化, 近似认为 RGB 色彩空间存
在白色雾霾. 在向量空间中, 它表示为
ΔH(x)=I(x)−J(x)ΔH(x)=I(x)−J(x)
(4)
结合式(1)可知
ΔH(x)=(1−t(x))(A−J(x))ΔH(x)=(1−t(x))(A−J(x))
(5)
为了使 ΔH(x)ΔH(x)主要集中在同一通道上, 将 ΔH(x)ΔH(x)从 RGB 颜色空间转换为
YUV 颜色空间. 它们之间的传递函数可以表示为
ΔH(x)x∈(Y,U,V)=δ×ΔH(x)x∈(r,g,b)ΔH(x)x∈(Y,U,V)=δ×ΔH(x)x∈(r,g,b)
(6)
其中,
δ=⎡⎣⎢0.2990.5−0.1690.587−0.439−0.3310.114−0.0810.5⎤⎦⎥δ=[0.2990.5−0.1690.587−0.439−0.3310.114−0.0810.5]
(7)
由于区域内均匀介质 ΔH(x)ΔH(x)的存在, 使得 RGB 颜色空间中容易出现纯白色, 因
此 ΔHr(x)ΔHr(x), ΔHg(x)ΔHg(x), ΔHb(x)ΔHb(x)三个平衡分量近似相等, 接近 RGB 颜色空
间模型的最大值. 因此, 近似得到
ΔHr(x)≈ΔHg(x)≈ΔHb(x)=λ,λ→1ΔHr(x)≈ΔHg(x)≈ΔHb(x)=λ,λ→1
(8)
因此, 由式(7)和式(8)知
ΔH(x)x∈(Y,U,V)=(ΔHY(x),ΔHU(x),ΔHV(x))=(0.9λ,0,0)ΔH(x)x∈(Y,U,V)=(ΔHY(x),ΔHU(x),ΔHV(x))=(0.9λ,0,0)
(9)
在 YUV 颜色空间中, 雾天图像与其对应的清晰图像之间的总误差可表示为
H=1N∑x=0N−1ΔHY(x)H=1N∑x=0N−1ΔHY(x)
(10)
其中, xx 表示每个像素的位置, NN 为图像的像素总数. 式(10)证明了 ΔH(x)ΔH(x)主要
投射在亮度通道上. 也就是说, 将投影在 RGB 颜色空间模型灰度轴线上的 H(x)H(x)转换为
亮度通道进行除雾. 当天气变坏时, H(x)H(x)的三种成分会导致不平衡. 因此, 一小部分偏
差可以投射到另外两个色度通道上.
2. 图像去雾算法
经过统计实验发现在雾天图像的 RGB 色彩空间中, 大气光照对各个分量都具有显著
的影响, 而在 YUV 色彩空间中, 有雾区域主要集中在亮度通道, 色度通道和饱和度通道较
少, 并且, 随着雾霾浓度的增加, 亮度通道变化越明显. 因此, 本文将主要在亮度通道进行
去除雾霾, 提出的去雾网络是一个相对简单的网络结构, 具有较快的收敛速度, 而且恢复的
去雾图像具有良好的效果.
2.1 网络结构
并联卷积神经网络的结构设计考虑了雾天图像与清晰图像 YUV 各个通道之间的关系,
网络主要由两个卷积神经网络组成, 较深网络用来预测亮度通道, 较浅网络用来预测色度通
道和饱和度通道, 图 1 为本文提出的并联卷积神经网络结构图.
图 1 本文网络结构
Fig. 1 The network structure of this paper
下载: 全尺寸图片 幻灯片
第 1 层采用多尺度卷积进行明亮度通道的特征提取, 多尺度卷积能够获取更多的与雾
相关的特征, 捕获更加丰富的统计属性和结构属性, 去除多尺度空间下的雾霾影响, 得到更
好的去雾效果, 提高捕获图像内部信息的鲁棒性和有效性. 详细参数如表 1 所示. 其中, 卷
积核尺寸为 fi×fi×ni,fi×fi×ni,fifi 为卷积核的大小, nini 为卷积核的数量.
表 1 多尺度卷积模型
Table 1 Multi-scale convolution model
卷积核尺寸
补零
步长
1×1×16
0
1
卷积核尺寸
补零
步长
3×3×16
1
1
5×5×16
2
1
7×7×16
3
1
下载: 导出 CSV
| 显示表格
多尺度卷积操作为
Fsi(Y)=Wsi∗YFsi(Y)=Wsi∗Y
(11)
其中, Wsi(i=1,2,3,4)Wsi(i=1,2,3,4)表示第 ss 层的第 ii 组卷积核, FsiFsi 表示第 ss 层输
出的第 ii 组特征图, YY 表示输入图像, “∗∗”表示卷积操作.
本文选用参数修正线性单元(PReLU)作为网络结构的激活函数,除了最后一层, 其余每
个卷积层与反卷积层的末端都接入此激活函数. PReLU 公式为
PReLU(xi)=max(xi,0)+aimin(0,xi)PReLU(xi)=max(xi,0)+aimin(0,xi)
(12)
式中,xixi 为第 ii 层的正区间输入信号, aiai 为第 ii 层的负区间的权系数. 所以卷积层的
最终输出为
Fsi(Y)=PReLU(Wsi∗Y+Bs)Fsi(Y)=PReLU(Wsi∗Y+Bs)
(13)
其中, BsBs 为第 SS 层的偏置.
2.2 跳跃连接
中间层部分由两个相同的全卷积结构组成, 单个全卷积结构包括三个卷积层和两个跳
跃连接. 首先, 采用 3×3×64 的卷积核大小, 3×3 的卷积核是最小的能够捕获图像的上下左右
和中心概念的尺寸, 而且相比于大尺寸, 它的参数更少, 可降低运算复杂度. 接着用 1×1×16
的卷积核大小, 可以有效降低参数大小和计算复杂度, 达到降维的作用, 提高训练精度. 最
后用 3×3×32 的卷积核大小进行卷积. 将第 1 层与第 2 层的特征图进行合并, 这种连接方式
大幅提升了卷积输出特征图的数量, 减少了每层所需特征图的数量, 且网络层数较浅, 能够
加快网络训练速度, 防止网络陷入局部最优, 同时保证图像细节信息的有效传递.
2.3 多尺度重建
剩余15页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3675
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 基于Java的本科探索学习项目设计源码 - 本科探索
- 基于Javascript和Python的微商城项目设计源码 - MicroMall
- 基于Java的网上订餐系统设计源码 - online ordering system
- 基于Javascript的超级美眉网络资源管理应用模块设计源码
- 基于Typescript和PHP的编程知识储备库设计源码 - study-php
- Screenshot_2024-05-28-11-40-58-177_com.tencent.mm.jpg
- 基于Dart的Flutter小提琴调音器APP设计源码 - violinhelper
- 基于JavaScript和CSS的随寻订购网页设计源码 - web-order
- 基于MATLAB的声纹识别系统设计源码 - VoiceprintRecognition
- 基于Java的微服务插件集合设计源码 - wsy-plugins
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功