没有合适的资源?快使用搜索试试~ 我知道了~
一种基于改进AOD-Net的航拍图像去雾算法.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 134 浏览量
2023-02-23
16:52:20
上传
评论 3
收藏 4.84MB DOCX 举报
温馨提示
试读
31页
一种基于改进AOD-Net的航拍图像去雾算法.docx
资源推荐
资源详情
资源评论
随着无人机航拍技术的日益成熟, 无人机航拍技术逐渐被频繁地应用于复杂环境地图
测绘
[1]
, 辅助驾驶
[2]
以及道路监控
[3]
等领域. 然而, 由于航拍无人机与拍摄对象的距离通常较
远, 因此航拍图像更容易受雾霾环境的影响. 在雾霾环境中, 地面拍摄的普通图像中近景受
到雾霾的影响较小, 而航拍图像整体都会包含浓度较高的雾霾, 这极大地影响了航拍图像的
成像质量. 此外, 航拍图像的比例尺较大, 这要求航拍图像具有极高的成像质量从而保证拍
摄对象清晰可见, 而雾霾环境中采集的航拍图像的信息量会严重下降, 其实用价值也会大打
折扣. 因此, 为了降低雾霾环境对航拍图像的影响, 需要对无人机采集的有雾航拍图像进行
去雾处理, 同时需要增强去雾图的视觉效果, 强化图像中的特征信息以便于后续高级计算机
视觉系统进行二次处理.
图像去雾算法可以分为基于传统数字图像处理与物理模型结合的方法
[4-8]
和基于深度学
习设计的去雾网络模型的方法
[9-16]
. 基于传统数字图像处理与物理模型结合的方法一般以大
气散射物理模型
[17]
为基础, 在此基础上针对大气光值与透射矩阵设计求解算法以期获取准
确的数值. 其中具有代表性的算法有如下三种: He 等
[6]
提出了基于暗通道先验(Dark channel
prior, DCP)的去雾方法, 该方法通过寻找图像中的暗通道图像来求解透射矩阵, 再结合估计
的大气光值来消除图像中的雾气. Berman 等
[7]
利用了一种边界约束和正则化(Boundary
constraint and contextual regularization, BCCR)的方式来配合大气散射模型对图像进行去雾.
Zhu 的团队
[8]
利用颜色衰减先验假设(Color attenuation prior, CAP)来获取透射图, 再结合大
气散射模型进行图像去雾.
随着深度学习在图像领域的发展, 许多学者尝试通过设计合适的去雾神经网络来进行
图像去雾. 基于深度学习设计的图像去雾模型能够被进一步细分为基于大气散射模型的间
接参数求解型网络模型和直接图像生成型网络模型
[9-10]
. 其中,基于大气散射模型的间接参数
求解型网络模型一般是通过对大气光值或者传输矩阵进行网络设计, 通过构建高效的特征
提取网络结构来准确获取二者的数值, 然后进而通过大气散射物理模型生成无雾图像. 其中
近年来具有代表性的算法有: Cai 等
[11]
提出了一种可以端到端进行训练的卷积神经网络模型
DehazeNet, 该网络可以学习有雾图像于介质传输图之间的映射关系, 但是仅仅四层的单尺
度直线型卷积网络的特征提取能力非常有限, 很容易造成传输图的估计出现错误. Ren 等
[12]
提出了一种多尺度卷积神经网络(Multi-Scale Convolutional Neural Network, MSCNN)用于去
雾, 该网络使用精细介质传输网络对粗糙介质传输网络进行传输特征的细化, 有效提升了去
雾图的细节特征, 然而庞大的网络结构使得该网络并不能短时高效地去雾, 需要依赖强大的
图形化硬件设备. Li 等
[13]
提出了 AOD-Net 去雾算法, 该方法简化了去雾模型, 通过对大气散
射模型进行变形使大气光值以及大气透射率合并为一个参数变量, 并设计了一种简单高效
的特征融合型卷积神经网络来有效获取该变量的值. 但是该算法处理真实雾图的时候非常
容易使图像的色调丢失并且损失较多色值. 而直接图像生成型去雾网络模型与间接参数求
解型网络模型不同, 该网络能够直接学习到有雾图像与清晰图像之间的映射关系, 将这种关
系以权重文件的形式保存起来, 每张图像在经过加载了该权重文件的神经网络后能够直接
生成清晰图像, 无需依赖大气散射模型. 例如, Ren 等
[14]
设计了一种门控融合网络(Gated
fusion network, GFN), 该网络通过融合白平衡派生图、对比度增强派生图以及伽马增强派
生图直接端到端生成无雾图像. Chen 等
[15]
设计了一种门控聚合网络(Gated context
aggregation network, GCANet), 该网络通过编码-解码的网络结构学习到原图和有雾图之间
的残差, 通过将雾气的特征残差附加在雾图上即可获得去雾图像, 恢复的图像会出现区域色
调失衡以及图像饱和度过低的现象. Qin 等
[16]
设计了一种端到端的特征融合注意网络(Feature
fusion attention network, FFANet)来获取雾气的残差特征, 去雾后的图像通常会出现颜色失
真和对比度下降的问题. 虽然端到端图像生成型网络可以不依赖大气散射模型, 但是对雾气
分布不均匀的图像进行去雾时非常容易出现去雾不彻底的问题, 并且容易出现大量的噪点.
由于 AOD-Net 的网络结构非常轻巧, 算法耗时极短, 因此该算法非常适用于无人机航
拍图像实时去雾. 本文重点针对 AOD-Net 去雾图的细节信息丢失严重, 去雾图的对比度过
强以及去雾图噪音过多的问题, 提出一种基于 AOD-Net 的多尺度航拍图像去雾算法. 本文
的主要创新点如下:
1) 本文在 AOD-Net 的基础上学习 FPC-Net 对网络层的优化方式
[18]
对 AOD-Net 的网络
层进行了改良, 并将改良的 AOD-Net 嵌入到多尺度结构中. 改良后的网络结构能够有效提
升神经网络对图像细节部分的处理能力, 并且能有效削减远景部分的雾气.
2) 与以往一些文献中仅仅关注图像重构的像素差异而设计的损失函数不同
[11-13]
, 本文
设计的损失函数在训练网络时不仅监视了生成图与标准清晰图之间的结构差异, 还关注了
生成图的视觉主观感受以及图像的平滑度.
3) 与以往研究中采用唯一损失函数训练模型的方式不同
[9-16]
, 本文训练所提网络模型
时采用了分段训练的方法, 这种通过优化训练方式来提升网络的去雾性能的方式能够有效
保留网络的模型复杂度, 并且能够极大程度地保证算法的实时性.
1. AOD-Net 去雾算法
AOD-Net 算法是基于简化的大气散射模型设计的去雾算法. 该算法将大气散射模型中
的大气光值和透射矩阵合并为了一个过渡矩阵, 然后利用多尺度特征融合网络来获取过渡
矩阵中的数值, 最后利用简化的大气散射模型来获得无雾图像. AOD-Net 算法主要包含以下
5 个步骤:
步骤 1. 大气散射模型的简化. 清晰图与对应的有雾图像的函数关系可以表示为:
I(x)=J(x)t(x)+A(1−t(x))I(x)=J(x)t(x)+A(1−t(x))
(1)
其中 t(x)t(x)表示传输图, A 表示大气光值, 若要恢复出清晰图像则必须准确估计二者
的值, 而在 AOD-Net 中, 将式(1)中的两个未知量通过数学公式变换合并为了一个未知量
K, K 的求解公式如式(2)所示, 简化的大气散射模型如式(3)所示.
K(x)=A−1+(I(x)−A)t(x)I(x)−1K(x)=A−1+(I(x)−A)t(x)I(x)−1
(2)
J(x)−1=K(x)I(x)−K(x)J(x)−1=K(x)I(x)−K(x)
(3)
步骤 2. 多尺度特征融合网络提取雾气特征. AOD-Net 采用了一种多尺度特征融合的
方式来增强网络的特征提取能力, 该网络的结构如图 1 所示. 其中第 2 个特征层合并了第 1
层的特征图, 第 3 个特征层融合了第 2 层的特征图, 第四层特征层合并了前 3 层的特征图,
最后一层输出过渡图像 K 的数值矩阵. 该网络结构较为简单, 无复杂的支路, 这保证了
AOD-Net 算法的实时性.
图 1 AOD-Net 的网络结构
Fig. 1 The network architecture of AOD-Net
下载: 全尺寸图片 幻灯片
步骤 3. 雾气数据集的生成. AOD-Net 通过设置不同的大气光值和散射系数将
NYU2
[19]
的室内清晰图像数据集扩充为包含了多种雾气浓度的合成雾数据集.
步骤 4. 设计用于训练网络的损失函数. AOD-Net 选择的是最简单也是最直接的均方
误差损失函数
[20]
, 该损失函数可用式(4)表示.
LMSE=(Ji−f(xi))2LMSE=(Ji−f(xi))2
(4)
式(4)中的 xixi 表示了输入网络的有雾图像, JiJi 表示了合成雾图对应的清晰无雾图
像, f(xi)f(xi)表示 AOD-Net 生成的去雾图像.
步骤 5. 经过训练后的 AOD-Net 可获取对应的权重文件, 加载权重文件并用 AOD-Net
读取有雾图像即可直接获取去雾图像.
2. 改进的多尺度 AOD-Net
AOD-Net 去雾算法虽然拥有非常优秀的去雾效率, 但是该算法去雾后的图像非常容易
出现去雾不彻底、对比度过强、边缘细节模糊以及色调偏暗的问题. 因此, 本文对 AOD-
Net 算法进行了改进. 首先, 针对步骤 2, 本文根据 FPC-Net 中对网络层的优化方式改良了
AOD-Net 的多尺度特征融合网络, FPC-Net 中采用了全逐点卷积与不同大小池化层结合的方
式替换了大尺度卷积层, 从而有效提升网络的特征表达能力
[21]
. 然后, 本文构建了多尺度网
络结构, 提升网络对图像细节雾气的处理能力. 随后, 用包含了图像重构损失函数、SSIM
损失函数和 TV 损失函数
[22]
的复合损失函数替代了步骤 4 中的均方误差损失函数, 以有效提
升多尺度去雾网络去雾图的视觉效果. 最后, 本文还通过分段训练的方式替换了单一损失函
数训练的方式, 进一步提升图像的生成质量.
2.1 单尺度 AOD-Net 网络层的改良
为了提升 AOD-Net 的特征表达能力, 本文参考 FPC-Net 的网络层优化方式来改良
AOD-Net 的网络结构, 用该方法来强化网络的特征表达能力, 本文改良的网络结构如图 2
所示. 这种改良方式不仅能有效提升网络对特征的表达能力, 使网络更加紧凑, 也能够在一
定程度上减少训练时出现过拟合的现象
[18]
. 另外, 本文认为第一层的特征有必要融合至第二
个特征融合层, 通过实验发现, 这样的优化能够在一定程度上改善网络对景深雾的处理能
力.
图 2 本文所提的网络结构
Fig. 2 The proposed network architecture
下载: 全尺寸图片 幻灯片
本文所提的网络结构总共包含 5 个全逐点卷积层, 3 个不同大小的池化层, 3 次特征图
融合和 1 次解卷积层组成. 其中每个逐点卷积的卷积核大小均为 1×1, 输入层和输出层的
1×1 逐点卷积层后无池化层和批归一化层, 其余每个逐点卷积后均会连接批归一化层、
ReLU 激活函数和池化层. 第一个池化层的滤波核大小为 3×3, padding 值为 1, 第二个池化
层的滤波核大小为 5×5, padding 值为 2, 第三个池化层的滤波核大小为 7×7, padding 值为 3,
每个卷积核和池化层的滤波核的行进步长均为 1, 下一层输入的特征图会融合之前所有层网
络输出的特征图, 本文的网络结构细节如表 1 所示.
表 1 本文所提网络的参数
Table 1 The architectures of proposed network
Layer
Input Size
Num
Filter
Pad
Conv1
128×128×3
32
1×1
0
Conv2
128×128×32
32
1×1
0
Pool1
128×128×32
—
3×3
1
Concat1
128×128×64
—
—
—
Conv3
128×128×64
32
1×1
0
Pool2
128×128×32
—
5×5
2
Concat2
128×128×96
—
—
—
Conv4
128×128×96
32
1×1
0
Pool3
128×128×32
—
7×7
3
Concat3
128×128×128
—
—
—
Conv5
128×128×128
3
1×1
0
下载: 导出 CSV
| 显示表格
图 3 展示了本文所提网络对景深雾的处理能力. 从图 3 中可以看出 AOD-Net 经过本文
的改良, 图像的远景部分的雾气能够被进一步消除, 而原版的 AOD-Net 处理后的图像远景
部分依旧有雾气残余, 这说明本节在 AOD-Net 的网络上的改良是有效的.
剩余30页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3548
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功