[发明专利]基于样本增强的工业产品表面缺陷检测方法

权利要求书

1.基于样本增强的工业产品表面缺陷检测方法，其特征在于，包括以下步骤：

1)对工业产品表面图片集进行尺寸标准化操作，其中含有缺陷的图片有对应的缺陷标注文件，对缺陷图片以及每张图片对应缺陷标注文件进行切割操作，并根据切割后的标注划分为正常图片集和缺陷图片集；

2)将步骤1)得到的缺陷图片集进行归一化和在线随机数据增强，包括上下左右随机翻转，并划分批次；

3)对于步骤2)一个批次中的每一张缺陷图片，在正常图片集中随机寻找一张与之对应切割位置相同，且纹理模板图案相同的正常图片，与缺陷图片进行左或右的拼接操作，并相应地修改标注文件；

4)将步骤3)得到的每个批次的图片和标注，使用Cascade-RCNN算法进行迭代训练，训练完所有批次后完成一个轮次的训练；

5)完成一个轮次的训练后，重复进行步骤2)至步骤4)，直至达到设定的迭代轮次，把网络中的参数输出并保存，得到Cascade-RCNN检测模型；

6)利用步骤5)得到的Cascade-RCNN检测模型对需要检测的工业产品表面图片和确定无缺陷的纹理模板图片进行滑窗检测，对滑窗检测到的结果进行拼接，并对二者得到的结果进行比较，最终得到待检测图片的缺陷类别及区域标注；其中，进行如下检测过程：

6.1)对于一张待检测的工业产品表面图片，使用预先设定好的滑窗尺寸，使用步骤5)得到的Cascade-RCNN检测模型在待检测图片上进行滑窗检测，再将结果映射回原图的区域上，得到每一条缺陷的标注格式为(category,x_min,y_min,x_max,y_max,score)，category表示缺陷类别，(x_min,y_min)表示矩形标注框左上角的横纵坐标，(x_max,y_max)表示矩形标注框右下角的横纵坐标，score表示缺陷判断的置信度，置信度取值为(0,1)之间；

6.2)对靠近滑窗边缘的缺陷标注进行判断，若相邻滑窗有相同类别且位置尺寸相近的标注，则按其置信度排序进行标注合并操作，合并后的矩形标注框为多个矩形标注框的最小外接矩形，新的置信度计算取它们的均值，如下：

score_new＝(score₁+score₂+...+score_n)/n

其中，score_new表示新的置信度，score_i表示参与合成的第i个矩形标注框的置信度，n表示参与合成的矩形标注框总个数；

6.3)采用步骤6.1)和6.2)在离线的情况下预先对模板图片集Z进行缺陷检测，将得到的结果保存；

6.4)采用步骤6.1)和6.2)在线对需要检测的工业产品表面图片进行检测，将得到的结果与步骤6.3)保存的相应模板的检测结果做对比，采用IoU作为对比标准，其计算公式如下：

其中，DR表示在待检测图片上检测到的缺陷矩形标注框，GT表示真实的缺陷矩形标注框；对比的具体方法是：将属于同一种类别的缺陷标注进行对比，若其IoU大于设定阈值τ，且待检测图片上的缺陷置信度小于设定阈值γ，则将待检测图片上的缺陷标注认为是纹理误检，予以剔除，由此得到待检测图片最终的缺陷位置标注和对应类别。