没有合适的资源?快使用搜索试试~ 我知道了~
随着深度学习和卷积神经网络的应用,图像语义分割的性能得到了大幅度提升。但当前图像语义分割算法在语义信息利用率及语义类别区分度方面仍有欠缺。为了进一步提升语义分割算法的性能,提出多层级的上下文信息机制,使用多层级特征对长距离的依赖关系信息和局部性较强的上下文信息进行提取,增强卷积神经网络特征的信息丰富度与类别区分度。所提多层级上下文信息机制在典型街道场景数据集Cityscapes验证集上的分割精度达77.2%,实验证明了所提方法的有效性。
资源推荐
资源详情
资源评论
第
卷
第
期
激 光 与 光 电 子 学 进 展
,
年
月
Laser&O
p
toelectronicsPro
g
ress
December
,
基于多层级上下文信息的图像语义分割
岳 师 怡
天津大学电气自动化与信息工程学院
,
天津
摘要
随着深度学习和卷积神经网络的应用
,
图像语义分割的性能得到了大幅度 提升
.
但当 前图 像语义 分割 算法
在语义信息利用率及语义类别区分度方面仍有欠缺
.
为了进一步提升语义分割算 法的 性能
,
提出 多层 级的上 下文
信息机制
,
使用多层级特征对长距离的依赖关系信息和 局部 性 较强 的上 下 文信 息进 行 提取
,
增 强卷 积神 经 网络 特
征的信息丰富度与类别区分度
.
所提 多层 级上 下 文信 息机 制 在典 型街 道 场景 数据 集
验 证集 上的 分 割
精度达
,
实验证明了所提方法的有效性
.
关键词
图像处理
;
语义分割
;
卷积神经网络
;
上下文信息
;
多层级特征
中图分类号
文献标识码
doi
:
.
/
LOP.
Ima
g
eSemanticSe
g
mentationBasedon Hierarchical
ContextInformation
YueShi
y
i
Schoolo
f
ElectricalandIn
f
ormationEn
g
ineerin
g
Tian
j
inUniversit
y
Tian
j
in
China
Abstract
Ke
y
words
OCIScodes
收稿日期
:
;
修回日期
:
;
录用日期
:
基金项目
:
国家自然科学基金重点项目
(
)
EGmail
:
引
言
图像语义分割是计算机视觉领域基础而重要的
一项任务
,
语义分割被广泛应用于自动驾驶
[
]
、
虚拟
现实等计算机视觉任务中
.
图像语义分割的任务是
为图像中的每个像素点分配一个类别标签
,
如人
、
车
和建筑等
,
通过这些 具 有语义信 息 的标签完 成 对一
幅图像的理解和解析
.
卷积神经网络
(
)
[
]
在计算机视觉任务中应
用 十 分 广 泛
,
自
等
[
]
凭 借 其 提 出 的
获得
[
]
图像分类竞赛冠军后
,
深度
卷积神经网络逐渐在各类视觉任务中占据了主流地
位
.
近年来
,
基于全卷积神经网络
(
)
[
]
的图像语
义分割模型取得了较大的进展
.
取消了传统卷
积神经 网 络 中 的 全 连 接 层
,
可 适 应 任 意 尺 寸 的 输
入
[
]
,
并输出精细的分类结果
.
但由于卷积层操作
的固有几何特性
,
基于
的语义分割模型感受野
较小
,
只能利用局部上下文信息
,
类别区分性较差
.
激 光 与 光 电 子 学 进 展
为了克服
上下文信 息 使用不够 充 分的缺
点
,
等
[
]
提出 了 金 字 塔 池 化 模 块
,
用 以 获 取 上
下文信息
;
等
[
]
进一步提出 了空洞空间 金 字
塔池化
(
)
模块
,
通过使用 多个尺度的 膨胀卷
积层来提取较大范 围的上下 文 信息
,
取得了较 好 效
果
.
模块使用多个具有不同膨胀率的卷积层
对卷积神经网络特征进行信息提取
,
膨胀率越大
,
上
下文信息范围越大
,
越有利于 获 取不同尺 度 范围的
上下文 信 息
,
从 而 提 高 图 像 语 义 分 割 性 能
.
等
[
]
在
模块的基础上引入密集连接
,
用以获
取尺度更加密集的特征
.
等
[
]
使用较大 的 卷
积核提取上下文信息
,
获取较大范围的上下文信息
.
近两年基于注意力机制的模型也被引入到语义
分割任务中
,
用于提 取 上下文信 息 并提高图 像 语义
分割性能
.
注意力机制模块对于长距离的依赖关系
信息的提取效果较好
.
等
[
]
采用自激励注意
力机制
,
使任意位置 点 的特征可 接 收来自其 他 所有
位置点的特征信息
,
从而得到 上 下文信息 更 丰富的
特征表示
.
等
[
]
使用两个注 意力机制模 块对卷
积神经网络的特征在空间维度和通道维度上的依赖
关系信息进 行 提 取
.
等
[
]
简 化 了 注 意 力 模
块
,
使用较少的计算量就可达到相近的分割性能
,
采
用位置注意力 机 制 模 块
(
)
使 各 位 置 点 的 特 征
仅接收一定数量的 其他位置 点 的特征信 息
,
无需计
算特征图中所有位置点的特征信息
.
由于 膨胀卷积操 作的几何特 性
,
膨胀卷积中 卷
积核的间隔较普通 卷积核更 大
,
因此膨胀 卷 积对特
征中上下文信息的 提取较普 通 卷积核更 加 稀疏
,
无
法提取到当前特征 点 周围所有 点 的密集特 征 信息
,
并且膨胀卷积操作 的感受野 不 能覆盖全 图
,
无法获
取远距离的上下文信息
.
而
模块将卷 积神经
网络特征图中所有 点 的特征信 息 整合到当 前 点中
,
容易引入相似类别 的 干扰信息
.
为解决上 述 问题
,
本文提出多层级上 下文信息 机 制
,
将长距离 的 依赖
关系信息提取与局部性较强的上下文信息提取相结
合
,
增强了卷积神经 网 络特征的 信 息丰富度 与 类别
区分度
,
从而达到更好的语义分割性能
.
多 层 级 上 下 文 信 息 语 义 分 割 网 络
结构
2.1
多层级上下文信息网络
充分有效利用上下文信息对于图像语义分割任
务十分重要
.
基于注意力机制的模型把卷积神经网
络特征图中所有点的特征信息整合到当前点的特征
之中
,
对于复杂场景图像
,
容易引入相似类别的信息
造成干扰
.
而基于模块的
模块的模型所提取
的上下文信息不够密集
,
容易丢失部分上下文信息
,
并且由于图像场景 中物体之 间 的尺度
、
光照和视 角
等差别较大
,
即使由 相 同语义标 签 像素点提 取 的特
征也会存在差异
,
这些差异 会 影响识别 精 度
.
本文
提出构建更加密集
、
局部性更强的膨胀卷积模块
,
并
将长距离的依赖关系信息与局部性较强的上下文信
息相结合
,
以增强卷 积 神经网络 特 征的信息 丰 富度
与类别区分度
,
获得更好的语义分割性能
.
在图 像物体识别 领域
,
使用卷积神 经网络的不
同层级进行目标物体的特征提取和分类有利于提升
网络的性能和稳 健 性
[
]
,
利用多层 级 特征进行 上
下文信息的提取
,
可以进一 步 丰富用于 语 义分割的
卷积神经网络特征
[
]
.
等
[
]
提出的深度残差网络
(
)
在图像
分类任务中性能表现优异
,
被广泛用于物体检测
、
语
义分割等任务的主 干网络架 构 的图像特 征 提取
,
本
文所提方法同样 使用
作为主干网络
.
本文
提出的多层级上下文信息网络结构如图
所示
.
整
个网络由两 部 分 组 成
,
使 用
作 为 主 干 网 络
进行图像特征提取
,
使用注意 力 机制模块 和 膨胀卷
积模块进行上下文 信息提取
,
并对提取 的 特征进行
增强
,
将增强后的特 征 用于语义 分 割可提升 语 义分
割的性能
.
图
中虚线表示输出预测结果
.
主干网络中对
网络的
和
提取到的特 征 使 用 类 似 特 征 金 字 塔
[
]
的 结 构 进 行
增强
,
网络头部对增 强 后的特征 进 行上下文 信 息的
提取和融合
,
之后输出 预 测结果
.
在卷积神 经 网络
中
,
当前卷积层距离 输 入图像之 间 的卷积层 个 数可
以表示网络的深浅
.
一般认为距离输入图像较近的
浅层特征包含更多的细节信息
(
如轮廓
、
角点等
),
距
离输入图像较远的深层特征经过较多的卷积层学习
与抽象
,
包含更多的语义信息
(
如类别信息
),
即浅层
特征语义信息的级 别较低
,
深层特征 语 义信息的 级
别较高
.
由 于 语 义 分 割 任 务 更 加 依 赖 深 层 语 义 信
息
,
现有的 语 义 分 割 算 法
[
,
]
大 多 仅 使 用 主 干
网络中最后一个层级
(
包含的语义信息级别最高
)
的
特征
.
考虑到细节信息有利于物体轮廓等细节的分
割
,
以及语义分割任 务 对特征中 的 语义信息 级 别不
能太 低 的 要 求
,
使 用
和
层 级 特 征
.
和
层级位于主干网络的最后
,
具备语
义分割任务所需的 高级别语 义 信息
,
同时在细 节 信
息上有所差别
(
语义信息含量相近的情况下
,
剩余8页未读,继续阅读
资源评论
weixin_38735570
- 粉丝: 5
- 资源: 934
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- Accurate and Faster Timing Closure With TSMC 16-nm FinFET Using
- GD32F303Cx引脚定义.xlsx
- Linux常用命令大全:文件操作、系统管理、网络操作、用户权限管理
- 利用matplotlib进行可视化
- 信息系统项目管理师2024年模拟题(二)真题及答案详解.docx
- CS(Computer Science 计算机科学)生涯:读书笔记,集成Java知识体系!(Java基础、JVM、JUC、Sp
- 【源码+数据库+运行指导视频】基于java Swing+mysql实现简单的购物系统
- GD32F303RCt6引脚功能表
- 卷积神经网络(CNN)提取影评特征构建电影推荐系统,pytorch实现-ConvMF.zip
- 限幅平均滤波法作为一种结合了限幅滤波和平均滤波特性的算法,广泛应用于各种需要去除噪声和干扰的场合
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功