[发明专利]一种工业场景下产品表面缺陷检测方法

权利要求书

1.一种工业场景下产品表面缺陷检测方法，其特征在于，所述方法包括以下步骤：

步骤1、图像采集，获取工业流水线上产品的表面图像；

步骤2、图像标注，对所述表面图像进行缺陷标注，得到表面缺陷数据集；

步骤3、数据增强，对所述表面缺陷数据集进行数据增强，为以下一种或者若干种数据增强方式的组合，所述数据增强方式包括随机裁剪、随机水平翻转、随机垂直翻转、尺度抖动、颜色抖动、Mosaic或Mixup；

步骤4、表面缺陷检测模型构建；

步骤5、表面缺陷检测模型训练；

步骤6、表面缺陷检测模型预测；

其中，

在所述步骤4中，包括以下步骤：

步骤4.1、通过Swin Transformer建立提取多尺度特征的主干网络；

步骤4.2、通过BiFPN网络对所述主干网络提取的所述多尺度特征进行多尺度融合，增强不同分辨率的所述多尺度特征；

步骤4.3、基于融合增强后的所述多尺度特征，使用anchor-free模型的FCOS网络作为detection head，生成所述表面缺陷检测模型。

2.如权利要求1所述的工业场景下产品表面缺陷检测方法，其特征在于，在所述步骤4.1中，利用步长为4的7*7卷积实现图像块划分，在不同阶段之间的特征图中利用步长为2的3*3卷积实现下采样；每个移位窗口块中，在不重叠的局部窗口中计算自注意力；假设每个所述局部窗口包含M*M个图像块，所述整个表面图像含有h*w个图像块，则全局多头自注意力和基于窗口的多头自注意力的计算复杂度分别为：

Ω(MSA)＝4hwC²+2(hw)²C；

Ω(W-MSA)＝4hwC²+2M²hwC；

其中，MSA为全局多头自注意力，Ω(MSA)为全局多头自注意力的复杂度，W-MSA为基于窗口的多头自注意力，Ω(W-MSA)为基于窗口的多头自注意力的复杂度，C为图像通道；h为图像高度H方向的图像块数量；w为图像宽度W方向的图像块数量。

3.如权利要求2所述的工业场景下产品表面缺陷检测方法，其特征在于，在所述步骤4.1中，允许跨窗口连接来提高效率；在连续的所述移位窗口块间实现移位窗口分区，分别采用所述W-MSA和SW-MSA机制，具体计算如下：

其中，W-MSA为基于窗口的多头自注意力，LN为层归一化，MLP为多层感知机，SW-MSA为基于移位窗口的多头自注意力。

4.如权利要求1所述的工业场景下产品表面缺陷检测方法，其特征在于，在所述步骤4.2中，包括以下步骤：

步骤4.2.1、所述BiFPN网络删除所述主干网络中只有一条输入边的节点；

步骤4.2.2、如果原始输入节点与输出节点处于同一层，则在所述原始输入节点与所述输出节点之间添加额外的边；

步骤4.2.3、所述BiFPN网络将每个双向即自上而下和自下而上的路径视为一个特征网络层，并多次重复同一层，以实现更高层的特征融合，使用快速归一化融合加权特征，使归一化后权重的值在0与1之间。

5.如权利要求1所述的工业场景下产品表面缺陷检测方法，其特征在于，在所述步骤4.3中，所述anchor-free模型的所述FCOS网络将位置(x，y)视为训练样本；所述FCOS网络在不同特征层间参数共享，共有三个分支：Classification分支、Regression分支和Center-ness分支；所述Classification分支预测当前层特征图位置(x，y)属于C类缺陷的概率；所述Regression分支预测当前层特征图位置(x，y)对应的缺陷边界框坐标；所述Center-ness分支预测当前层特征图位置(x，y)的center-ness；通过将所述Classification分支预测的类别置信度与所述Center-ness分支预测的所述center-ness相乘用作最终后处理的置信度得分。