结合空洞卷积的FuseNet变体网络高分辨率遥感影像语义分割.docx

版权申诉

30 浏览量 2022-11-29 17:40:44 上传评论收藏 1.81MB DOCX 举报

资源推荐

资源详情

资源评论

遥感影像语义分割是遥感影像信息获取的关键环节，也是近年来的研究热点，相关研

究成果已广泛应用于土地利用变化检测、交通监测和灾害预警评估等方面

[1]

。高分辨率遥

感影像能够表现丰富的地物信息，有利于提取地物的复杂特征以识别复杂的人造目标。

传统的遥感图像语义分割主要是通过提取图像的低级特征进行分割，分割结果缺乏语

义标注。文献[2]通过随机森林分类器提取语义特征进行语义分割。文献[3]利用 Logistic 回

归分类器提取颜色、纹理特征，通过条件随机场（conditional random field，CRF）模型

训练实现语义分割。然而，传统的遥感图像语义分割方法对特征的提取和表达，需要依靠

先验知识进行人工选择和设计，并且在建立相应语义分割模型的过程中，人工设计的特征

和高层语义特征之间存在差距，因此建立的语义分割模型泛化能力较差。

随着深度学习理论的发展与普及，深度神经网络模型已广泛应用于不同行业

[4]

。研究

者在遥感影像分析处理中应用深度学习方法，取得了较为理想的效果

[5-6]

。全卷积网络

[7]

（fully convolutional networks，FCN）和 SegNet 网络

[8]

在高分辨率遥感影像语义分割中

展现出了较为优异的性能与分割效果，但 FCN 对像素进行分类时没有考虑到像素之间的

关系，忽略了基于像素分类的空间规划步骤，缺乏空间一致性。SegNet 的基本网络结构

为编码器-解码器，编码器对图像进行高维特征提取和下采样，解码器对提取的特征图进行

上采样操作，因此编码器-解码器结构可以以 1∶1 的分辨率进行像素预测，但上采样的过

程中易丢失细节信息，使得小目标地物的分割效果较差。文献[9]分别提取红绿蓝（red

green blue，RGB）信息和数字地表模型（digital surface model，DSM）信息，并将它们

融合集成到 SegNet 结构中进行语义分割，获得高分辨率的多模态预测 RGB-DSM 数据用

于异构数据源的联合学习。然而该融合策略无法平衡高程信息和颜色信息，导致图像分割

不准确。因此，本文针对高分辨率遥感影像中多模态数据融合效果不佳、边缘分割效果不

理想、类边界模糊和易产生误分割现象等问题，受编码器-解码器和文献[6]中 FuseNet 网

络结构的启发，对 FuseNet 网络结构进行改进，提出了一种结合空洞卷积的 FuseNet 变

体网络（improved FuseNet with atrous convolution-convolutional neural network，IFA-

CNN）模型。在编码器部分，提出虚拟融合单元来提高遥感影像语义分割效果；针对遥感

影像提取特征部分，引入空洞卷积调整感受野捕获遥感影像多尺度信息，提高目标分割效

果；在解码器部分，链接编码器并提取融合特征，以提高网络鲁棒性。

1. 高分辨率遥感影像语义分割模型

1.1 多模态遥感数据融合

文献[10]中，FuseNet 采用了编码器-解码器结构将二维图像数据融合。FuseNet 架构

如图 1 所示，其中，pooling 为池化操作，conv 为卷积操作，unpooling 为反池化操作，

IRRG 为近红外、红外和绿波段，Ⓒ为融合操作。图 1 中使用了两个编码器对 RGB 和

DSM 进行联合编码，首先将编码后的特征图输入到解码器中进行上采样，然后由分类器进

行弱分类，通过 softmax 得到最终分割结果。同时，FuseNet 选择深度信息作为辅助特征

下载: 全尺寸图片幻灯片

为了更好地提取 RGB-DSM 图像的特征，解决主数据源及辅助数据源数据分配不均的

问题，本文提出了一种虚拟分支融合单元，对主数据源和辅助数据源进行一次卷积运算，

从而产生一种虚拟模态。将该虚拟模态作为融合数据源之一，将 DSM 分支提取的特征和

RGB 分支提取的特征进行融合。如图 2（b）所示，通过这种方法调整 FuseNet 结构，使

其在一定程度上可以解决对主数据源和辅助数据源进行选择的问题，以解决数据处理不均

衡的问题。另外，为解决解码过程中只使用主分支编码时产生的索引进行上采样的问题，

本文将虚拟分支融合单元中最大池化操作产生的索引应用于解码阶段的上采样，从而提高

语义分割的精度。

1.2 多尺度空洞卷积

空洞卷积

[11]

是在不减少图像尺寸的同时获得比较大的感受野，所以其主要优势在于允

许灵活地调整感受野的大小来捕获多尺度信息，提高多目标分类和分割任务的性能

[12]

。二

维空洞卷积算子定义为：

gi,j(x𝓁)=∑c=0C𝓁θk,ri,j*x𝓁c ]]>

式中，g

i，j

是对输入特征图的卷积操作

RH𝓁×W𝓁×C𝓁→RH𝓁+1×W𝓁+1RH𝓁×W𝓁×C𝓁→RH𝓁+1×W𝓁+1；*表示卷积算子；

x𝓁∈RH𝓁×W𝓁×C𝓁x𝓁∈RH𝓁×W𝓁×C𝓁为在第 i 行和第 j 列中属于通道 c∈{0, 1,2…C𝓁}c∈{0,

1,2…C𝓁}的特征图；θk,rθk,r 为卷积核大小为 k 和扩张率为 r∈Z+r∈Z+的空洞卷积。在空

洞卷积中，卷积核大小 k 增加为 k+（k－1）（r－1），当 r=1 时，空洞卷积相当于标准卷

积。标准卷积的卷积层感受野与之前所有层卷积核的大小和步长有关，感受野呈线性增

长，而空洞卷积感受野为（2

r+1

－1）×（2

r+1

－1），因此空洞卷积的级联可以实现感受野呈

指数增长，使得每个卷积输出都包含较多的信息。

2. 结合空洞卷积的 FuseNet 变体网络

本文使用编码器-解码器作为基本网络结构，如图 3 所示。编码器-解码器是一种输出

近似于输入的网络结构。因此，在影像分割阶段，原始图像分辨率与分割图像分辨率保持

一致。解码器能够使用反池化操作对特征图进行上采样，因此可使输出图像分辨率逼近输

剩余15页未读，继续阅读

评论收藏

内容反馈

版权申诉

罗伯特之技术屋

粉丝: 3643
资源: 1万+

结合空洞卷积的FuseNet变体网络高分辨率遥感影像语义分割.docx

语义分割网络重建单视图遥感影像数字表面模型.docx

顾及空间信息与全卷积神经网络的高分辨率遥感影像分类方法.docx

智能优化学习的高空间分辨率遥感影像语义分割.docx

全局关系注意力引导场景约束的高分辨率遥感影像目标检测.docx

基于多尺度标记的遥感影像分水岭分割.docx

采用神经网络架构搜索的遥感影像分割方法.docx

一种高分辨率遥感影像道路提取方法.docx

基于深度学习的高分辨率遥感图像海陆分割方法.docx

全卷积注意力机制神经网络的图像语义分割.docx

耦合知识图谱和深度学习的新一代遥感影像解译范式.docx

一种顾及细粒度信息与残差网络的高分辨率遥感影像场景分类法.docx

道路点云场景双层卷积语义分割.docx

(完整word版)电子科大资环学院遥感原理与应用.docx

高分辨率遥感影像城中村提取的景观语义指数方法.docx

高分数据辅助下的热红外遥感影像几何校正.docx

基于改进ExfuseNet模型的街景语义分割.docx

高分辨率遥感影像超像素的模糊聚类分割法.docx

基于区块自适应特征融合的图像实时语义分割.docx

双向特征融合与特征选择的遥感影像目标检测.docx

基于显著性图像与纹理特征的遥感影像云检测.docx

相关实用应用程序（Windows可用）

免费可用的ChatGPT网页版.zip

ChatGPT使用总结：150个ChatGPT提示词模板（完整版）

chromedriver-win64.zip

全国计算机二级WPSoffice精选350道选择题题库（含答案）.pdf

农村公交与异构无人机协同配送优化

基于小波与卷积神经网络的多尺度时间序列分类.zip

哈尔滨工业大学-ChatGPT调研报告-2023.3.6-94页.pdf

李飞飞自传 我看见的世界 The World I see

最新资源

李飞飞自传我看见的世界 The World I see