[发明专利]一种工业场景下产品表面缺陷检测方法

说明书

本发明公开了一种工业场景下产品表面缺陷检测方法，涉及工业场景下产品表面缺陷检测与机器视觉的技术领域，所述方法包括以下步骤：步骤1、图像采集，获取工业流水线上产品的表面图像；步骤2、图像标注，对所述表面图像进行缺陷标注，得到表面缺陷数据集；步骤3、数据增强，对所述表面缺陷数据集进行数据增强，为以下一种或者若干种数据增强方式的组合，所述数据增强方式包括随机裁剪、随机水平翻转、随机垂直翻转、尺度抖动、颜色抖动、Mosaic或Mixup；步骤4、表面缺陷检测模型构建；步骤5、表面缺陷检测模型训练；步骤6、表面缺陷检测模型预测。

技术领域

本发明涉及工业场景下产品表面缺陷检测与机器视觉的技术领域，尤其涉及一种工业场景下产品表面缺陷检测方法。

背景技术

在工业场景下，高效、稳定的质量检测是产品制造流程的重要环节。质量检测的速度与精度会直接影响流水线产能以及产品的最终品质。产品表面有无缺陷是衡量产品是否满足工业质量要求的重要依据。在工业生产制造过程中，对产品表面进行缺陷检测大都是通过人工质检来完成，但人工检测方法需要高昂的人力成本，且存在较高的误检率和漏检率，满足不了实时检测的需求。为适应当今制造业信息化、智能化的趋势，在生产环节上需要摆脱传统人力手工对产能和效率的束缚。

基于传统机器视觉的产品表面缺陷检测方法是通过图像处理的方式对缺陷特征进行选择与提取。首先，获取到的产品表面图像受到多变不确定的外界工业生产环境以及产品本身复杂背景纹理影响。此外，人工设计的特征无法包含所有缺陷特征且提取复杂、泛化性差。上述缺点限制了基于传统机器视觉的产品表面缺陷检测方法的应用。

近年来，基于深度学习的机器视觉一直是研究热点，这也为产品表面缺陷检测提供了新的解决方案。卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表性算法。卷积神经网络具有局部连接、权值共享等优点，通过卷积操作对图像局部邻域内的像素点建模，充分考虑了像素点与周围像素点之间的关系。卷积神经网络通过多层卷积层逐步从图像中提取复杂高级的特征信息，具有强大的表征学习能力。在工业场景下的产品表面缺陷检测领域中，使用最为广泛的是利用卷积神经网络提取图像特征的目标检测网络模型YOLO(You Look OnlyOnce)系列。YOLO系列检测模型能够识别图像中的缺陷类别并输出缺陷的边界框坐标，实现缺陷定位。

但现有的工业场景下产品表面缺陷检测方法仍存在以下问题：

1、目前绝大多数通过卷积神经网络实现的产品表面缺陷检测方法，受网络中每层特征图的感受野限制，检测模型无法对图像中感受野以外的像素建模。由于卷积操作固有的局部建模特性，基于卷积神经网络的缺陷检测方法难以捕获数据中长距离依赖关系，导致缺陷检测的精度不高；

2、目前大多数检测方法采用PANet网络对主干网络提取的多尺度特征进行融合。PANet网络虽然融合了不同尺度的输入特征，但只是简单地对它们求和，没有区分。不同尺度的输入特征具有不同的分辨率，通常对融合后的输出特征的贡献是不相同的。传统方法会导致微小缺陷检测效果不佳；

3、目前大多数检测方法的detection head是anchor-based模型，需要在特征图上密集地放置预定义的不同大小和纵横比的anchor boxes。为了获得好的检测性能，需要在模型训练前进行聚类分析并确定最佳的anchor boxes。由于工业流水线上产品表面缺陷是随机的、多样的、未知的，预定义的anchor boxes会导致检测方法的泛化能力较差；

4、目前大多数检测方法为图像中的ground truth和background分配正负训练样本时，通常采用固定的标签分配策略，但对各种大小、形状和类别的标注采用固定的分配策略，会导致次优分配结果。

因此，本领域的技术人员致力于开发一种工业场景下产品表面缺陷检测方法，解决现有技术中存在的上述问题。

发明内容