没有合适的资源?快使用搜索试试~ 我知道了~
基于改进YOLO的双网络桥梁表观病害快速检测算法.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 199 浏览量
2023-02-23
16:47:45
上传
评论
收藏 3.87MB DOCX 举报
温馨提示
试读
27页
基于改进YOLO的双网络桥梁表观病害快速检测算法.docx
资源推荐
资源详情
资源评论
中国桥梁数量位居世界首位
[1]
, 大量的桥梁改善了交通状况, 同时, 为保障桥梁的安全
运营, 需要对桥梁进行定期的检查和养护. 桥梁在建造以及使用的过程中, 受到施工材料、
建筑工艺、极端天气、车辆超载等因素的影响, 不可避免地出现结构性或非结构性的损伤,
进而形成蜂窝、漏筋、孔洞、裂缝等表观病害. 若是能够及时地对桥梁进行检查并修复损
伤, 将大大减少桥梁的维护成本, 延长桥梁的使用寿命. 到目前为止, 桥梁健康状况的评估
大多仍是由人工目视进行
[2]
, 工人在升降装置的协助下, 到达桥梁各个位置对病害进行测量
和统计. 然而, 这种传统方法检测效率低下且结果受到工人主观经验的影响, 因此, 实现桥
梁表观病害的自动化检测具有重要意义.
随着人工智能技术的发展, 近年来越来越多的机器人被用于桥梁的自动化检查中, 文
献[3-4]利用无人机获取桥梁和钢索的高清图像并进行病害的检测, 文献[5]使用移动机器人
对桥梁进行检查, 在文献[6]开发了一种水下机器人对桥墩的水下部分进行检测. 由湖南桥
康智能科技有限公司研发的轻量化桥梁智能检测机器人 BIR-X-LITE, 可海量地采集桥梁底
部的高分辨率表观图像数据. 为了高效且准确地评估桥梁健康状况,需要利用桥梁表观病害
检测算法对图像进行快速有效的分析. 过去许多传统病害检测算法中, 边缘检测器
[7]
和阈值
检测方法
[8-9]
被用于裂缝检测. 文献[10] 利用基于局部熵的阈值算法检测桥梁蜂窝病害. 如
果病害具有高对比度以及良好的连续性, 传统算法可实现高精度的检测. 但在实际应用中,
受到光照强度变化、噪声、背景干扰等因素的影响, 部分病害图像特征不明显, 从而导致传
统算法无法实现准确地病害检测.
近年来, 深度学习在计算机视觉等领域表现出了良好的性能
[11-14]
, 利用该技术在复杂条
件下对桥梁表观病害图像进行检测已成为现实. 在文献[15]利用卷积神经网络(Convolutional
neural networks, CNN)对 16×16 像素的图像进行分类, 来判断该图像中是否存在裂缝病害.
而 Kim 等
[16]
将区域卷积神经网络(Region-CNN, R-CNN)与形态学后处理相结合, 以检测和
分割桥梁裂缝病害. 但是大部分深度学习方法只针对一种类型的病害进行检测, 不能对桥梁
的健康状况进行全面地评估.
随着多尺度检测网络的发展, 桥梁多病害检测算法被相继提出. Zhang 等
[17]
利用 YOLO
(You only look once)网络实现了对桥梁裂缝、剥落、蜂窝和漏筋 4 种病害的检测. 该方法在
YOLOv3 的基础上, 引入了迁移学习方法和批量正则化等方法. Li 等
[18]
基于 Dense-net 网络
和迁移学习方法, 提出了新的全卷积神经网络(Fully convolutional networks, FCN), 对裂缝、
蜂窝、风化和孔洞 4 种病害进行检测和分割. 然而, 在上述网络训练所使用的数据集中, 各
类病害从不相等的距离被拍摄, 从而缩小了不同病害间的大小差异.
在实际应用中, 如 Yang 等
[19]
、Mundt 等
[20]
和 Hüthwohla 等
[21]
指出, 不同类型的病害外
观差异显著, 且病害之间可能发生重叠, 利用单个网络完成所有桥梁表观病害的检测或分类
是一个巨大的挑战. 针对上述问题, 文献[19]通过引入距离加权系数对蜂窝和裂缝病害图像
进行缩放对齐; 文献[20]在 224×224 像素步长的滑动窗口上对桥梁多病害进行分类, 但可能
导致大型病害整体结构信息的丢失; 文献[21]提出了三阶段分类器, 可将不健康的桥梁区域
分为特定病害类型, 以不同步长的滑动窗口对图像进行了多次的分类, 提高了分类的准确
性.
不同类型的病害外观差异显著, 且病害之间可能发生重叠, 加上光照强度变化、噪
声、背景干扰等影响, 现有的目标检测算法无法在固定步长的滑动窗口上实现桥梁多病害
的快速鲁棒检测. 针对上述问题, 本文对 YOLO
[22-23]
进行了改进, 提出了 YOLO-lump 和
YOLO-crack, 以提高网络检测多病害的能力, 进而形成基于双网络的桥梁表观病害快速检
测算法. 1) YOLO-lump 在 1280×1280 像素步长的滑动窗口上实现块状病害(包括蜂窝、漏筋
和孔洞病害)的检测, 针对长宽比和大小多变的块状病害, 提出了混合空洞金字塔模块, 采
用空间金字塔池化
[24]
的并行采样结构, 并在不同的通道上利用混合空洞卷积
[25]
提取不同尺
度的特征. 该模块可用于提取稀疏的多尺度特征, 能在不显著增加计算复杂度的情况下扩展
网络的感受野, 同时可以避免空洞卷积造成的局部信息丢失. 2) YOLO-crack 在 640×640 像
素步长的滑动窗口上实现裂缝病害的检测, 由于常规的下采样方法可能会导致裂缝像素损
失, 受文献[26-27]启发, 提出了下采样注意力模块, 其在额外的下采样通道中, 利用 1×1 卷
积和 3×3 分组卷积分别解耦特征的通道相关性和空间相关性
[28]
, 以找到特征中重要的信息,
然后叠加到原始的下采样结果上. 该模块能够增强下采样过程中裂缝的前景响应, 有利于裂
缝细节特征的保留. 为了提高网络的检测速度, 基于文献[29-30]对 YOLO-crack 进行了轻量
化的调整. 此外, 为了进一步提升本文算法的性能, 条件生成式对抗网络
[31]
被用于生成新的
训练样本以提升病害检测的鲁棒性. 而 focal loss 损失函数
[32]
被用于解决正负样本不平衡的
问题以优化网络训练过程. 本文提出的算法可配合 BIR-X-LITE 机器人实现桥梁多病害的快
速鲁棒检测, 算法整体流程如图 1 所示. 综上所述, 本文主要贡献如下:
图 1 双网络桥梁表观病害快速检测算法整体框架
Fig. 1 Overview of the dual deep network for fast bridge surface defect detection
下载: 全尺寸图片 幻灯片
1)建立了桥梁表观图像数据库, 共有 169621 张高分辨率图像, 包括蜂窝、漏筋、孔洞
和裂缝 4 种常见病害类型.
2)提出了混合空洞金字塔模块, 结合了混合空洞卷积和空间金字塔池化, 能有效扩展
网络的感受野并保护特征连续性, 提高网络的多尺度检测性能.
3)提出了下采样注意力模块, 利用 1×1 卷积和 3×3 分组卷积分别解耦特征的通道相关
性和空间相关性, 能加强下采样阶段病害的前景响应, 减少空间信息损失.
4)根据桥梁病害的实际情况, 提出了双网络桥梁表观病害快速检测算法, 其双网络分
别为 YOLO-lump 和 YOLO-crack 网络, 配合 BIR-X-LITE 机器人可实现桥梁多病害的检测.
实验结果证明, 在本文数据集上, 该算法性能优于其他最新方法, 且检测一张 5120×5120 像
素的图像仅花费 0.995 秒.
1. 基于 GAN 网络的数据增广
桥梁健康状况评估是多阶段的工作
[33]
, 由于桥梁机器人可海量地采集桥梁底部的高分
辨率表观图像数据, 为了提高桥梁健康状况评估效率, 首先需要利用检测网络快速地筛除出
病害区域. 因此, 检测阶段的性能会极大地影响桥梁健康状况评估的结果. 为了全面准确地
掌握桥梁健康状况, 需要实现鲁棒性高的病害检测. 在图像采集的过程中, 受到光照强度变
化、噪声、机械振动等因素的影响, 少部分图像成像质量不佳从而形成困难样本, 导致病害
检测性能下降. 为了增强网络的鲁棒性, 提高网络对于困难样本的检测能力, 利用生成式对
抗网络
[34]
(Generative adversarial networks, GAN)自动生成困难样本以对训练数据进行增广.
近年来, GAN 网络被广泛应用于各类图像处理任务中. 刘建伟等
[35-39]
通过实验证明, GAN 网
络生成的数据具有一定的实用性.
利用条件 GAN 网络
[31]
对桥梁病害图像进行数据增广, 该网络可以将桥梁表观病害语
义分割图像合成为真实病害图像. 原始数据集包含 597 张块状病害图像和 516 张裂缝病害
图像以及对应的语义分割图像. 网络的训练参数设置如下: 初始学习率设置为 0.0001, 动量
设置为 0.5, 使用的优化器为 Adam, 批量大小设置为 1, 训练迭代次数为 100 轮. 在新生成
的病害图像中, 挑选出 444 张块状病害图像以及 427 张裂缝病害图像, 部分生成图像见图 2.
图 2 GAN 网络生成的桥梁表观病害图像
Fig. 2 Bridge surface defect images generated by GAN network
下载: 全尺寸图片 幻灯片
2. 双网络桥梁表观病害快速检测算法
2.1 混合空洞金字塔模块
桥梁病害的长宽比及大小差异显著, 其中, 漏筋病害特征细长, 而蜂窝病害的尺寸几乎
可以任意变化, 不同的蜂窝病害其面积差异可达到 10 倍以上. 由于 YOLO 需要根据聚类结
果先行设定锚框, 然后网络在特征图上以设定好的锚框对目标进行搜索与检测. 桥梁病害长
宽比及大小的差异对聚类结果的准确性造成了影响, 当目标的长宽比及大小与聚类结果相
差较大时, 会影响检测网络的定位准确性. 为解决上述问题, 需要增强网络的多尺度检测性
能, 使网络能够更好地提取和识别不同桥梁病害的特征.
在过去工作中, 空洞空间金字塔池化
[40]
(Atrous spatial pyramid pooling, ASPP)被用于解
决分割领域物体尺度变化大的问题, 将空洞卷积添加到空间金字塔池化的框架中, 以有效地
提取多尺度上下文信息, 但是空洞卷积的膨胀系数设置过大, 不利于桥梁病害的检测. 为了
对桥梁病害多尺度特征进行提取, 将 ASPP 中高膨胀系数的空洞卷积分解为多个低膨胀系
数的空洞卷积, 空洞卷积膨胀系数的设置与文献[25], 这样可以避免空洞卷积级联后造成的
局部信息丢失. 为了减少计算量, 在空洞卷积之前额外加入了 1×1 卷积来减少特征通道数
量. 另一方面, 由于 1×1 卷积后引入了 Mish 激活函数
[41]
, 可以增强模块的非线性表达, 提
升其特征提取能力. 本文提出的混合空洞金字塔模块如图 3 所示, 其中 r 代表空洞卷积的膨
胀系数.
图 3 混合空洞金字塔模块
Fig. 3 The hybrid dilated pyramid module
下载: 全尺寸图片 幻灯片
在混合空洞金字塔模块中, 输入特征被采样到 4 条相互独立的通道之中, 组成空间金
字塔进行并行采样. 首先, 经过 1×1 卷积将特征通道数减少至输入特征通道数的 1/4. 在第
1 条通道内, 特征图不进行额外的处理. 而在另外 3 条通道内, 通过不同数量和膨胀系数的
空洞卷积叠加, 提取包含不同感受野的特征图. 从整体上看, 每条特征提取通道内的空洞卷
积都只与输入特征的一部分相连接, 这有助于提取特征级的稀疏信息, 提高特征的多样性.
剩余26页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3675
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功