基于深度学习的表面缺陷检测方法综述.docx

表面缺陷检测是机器视觉领域中非常重要的一项研究内容, 也称为 AOI (Automated

optical inspection)或 ASI (Automated surface inspection), 它是利用机器视觉设备获取图像来

判断采集图像中是否存在缺陷的技术. 目前, 基于机器视觉的表面缺陷装备已经在各工业领

域广泛替代人工肉眼检测, 包括 3C、汽车、家电、机械制造、半导体及电子、化工、医

药、航空航天、轻工等行业. 传统的基于机器视觉的表面缺陷检测方法, 往往采用常规图像

处理算法或人工设计特征加分类器方式. 一般来说, 通常利用被检表面或缺陷的不同性质进

行成像方案的设计, 合理的成像方案有助于获得光照均匀的图像, 并将物体表面缺陷明显地

体现出来. 一种方式是针对被检表面颜色选择光源, 例如文献[1]中选择复合白色光源成像

彩色布匹表面缺陷. 另一种常见的方式是依据被检测表面反射性质选择不同成像方案, 主要

很多开放式的工业环境下(如图 1(b)和图 1(d)所示的自然场景), 期待设计的成像系统完全消

除场景或者被检材料等变化对检测系统的影响, 往往不太现实. 在真实复杂的工业环境下,

表面缺陷检测往往面临诸多挑战, 例如存在缺陷成像与背景差异小、对比度低、缺陷尺度

变化大且类型多样, 缺陷图像中存在大量噪声, 甚至缺陷在自然环境下成像存在大量干扰等

情形, 如图 1 所示, 此时经典方法往往显得束手无策, 难以取得较好的检测效果.

图 1 复杂工业环境下的表面缺陷图像

Fig. 1 Images of surface defects in complex industrial environment ((a) Scratch image of dark

field image of optical component; (b) Surface defect of building bridge; (c) Strip surface defect;

(d) Unmanned aerial vehicle insulator defect)

下载: 全尺寸图片 幻灯片

中中国占比约为 30%, 并保持 14%的年度平均增长率, 这一领域正在逐步被新一代基于深

度学习的工业视觉技术替代. 同时我国在 《中国制造 2025》 白皮书中提出“推广采用先进

成型和加工方法、在线检测装置、智能化生产和物流系统及检测设备等, 使重点实物产品

的性能稳定性、质量可靠性、环境适应性、使用寿命等指标达到国际同类产品先进水平”.

因此, 基于深度学习的表面缺陷检测方法不仅具有重要的学术研究价值, 同时有着非常广阔

的市场应用前景.

表 1 商用基于深度学习的缺陷检测软件

Table 1 Commercial deep learning based defect detection software

下载: 导出 CSV

| 显示表格

鉴于目前国内还没有全面细致论述基于深度学习表面缺陷检测方法的综述文献, 本文

通过对 2014 年 ~ 2019 年相关文献进行归纳梳理, 旨在帮助研究人员快速和系统地了解该

领域相关方法与技术. 本文内容安排如下: 第 1 节给出缺陷检测问题的定义. 第 2 节重点对

测为例, 如图 2 所示, 第 1 种是有监督的方法,体现在利用标记了标签(包括类别、矩形框或

逐像素等)的缺陷图像输入到网络中进行训练. 此时“缺陷”意味着标记过的区域或者图像.

因此, 该方法更关注缺陷特征, 例如在训练阶段将包含大片黑色范围的区域或者图像标记为

“异色”缺陷用于网络训练. 在测试阶段, 当布匹图像中检测到大片黑色的特征时, 即认为出

现了“异色”缺陷. 第 2 种是无监督的缺陷检测方法, 通常只需要正常无缺陷样本进行网络训

练, 也称为 one-class learning. 该方法更关注无缺陷(即正常样本)特征, 当缺陷检测过程中发

现未见过的特征(异常特征)时, 即认为检测出缺陷. 此时“缺陷”意味着异常, 因此该方法也

称作异常检测(Anomaly detection).

图 2 缺陷检测的问题定义

Fig. 2 Definition of defect detection problem

才是严格意义上的检测. 不仅获取图像中存在哪些类型的缺陷, 而且也给出缺陷的具体位

置, 如图 2 中将异色缺陷用矩形框标记出来. 第 3 阶段: “缺陷是多少”, 对应计算机视觉中

的分割任务, 如图 2 中缺陷分割的区域所示, 将缺陷逐像素从背景中分割出来, 并能进一步

得到缺陷的长度、面积、位置等等一系列信息, 这些信息能辅助产品高一级的质量评估, 例

如优劣等级的判断. 虽然缺陷检测的这三个阶段的功能需求和目标不同, 但实际上三个阶段

互相包含且能相互转换. 例如第 2 阶段“缺陷定位”包含第 1 阶段“缺陷分类”这一过程, 第 3

2. 表面缺陷检测深度学习方法

本节总结概述基于深度学习的表面缺陷检测方法. 如图 3 所示, 依据数据标签的不同,

将其整体分为全监督学习模型、无监督学习模型和其他方法(半监督学习模型和弱监督学习

模型). 在全监督模型中, 依据输入图像方式和损失函数的差异, 分为基于表征学习和度量

学习的方法. 在表征学习中, 根据网络结构的不同可以进一步细分为分类网络、检测网络和

分割网络. 目前大量的研究工作都是着眼于全监督学习方向, 但无监督学习同样是一个值得

研究的方向. 从图 3 中可以看出, 本文按照每类方法的处理特点又细分为若干种不同的子方

法.

图 3 缺陷检测方法框架图

Fig. 3 Framework of defect detection methods