[发明专利]一种产品边缘缺陷检测方法

权利要求书

1.一种产品边缘缺陷检测方法，其特征在于，包括以下步骤：

步骤1、图像采集：

采集一副完整清晰的、没有缺陷的基准图像I_T和待测图像I_s，其图片内容只存在一个玻璃盖板，不存在同时拍摄多个盖板的情况，并且玻璃盖板的轮廓层次清晰，不存在虚焦、成像模糊、严重的失真情况；

步骤2、建立特征图：

首先，利用sobel算子处理I(x，y)，通过连通域确定其轮廓结构信息，其返回值表示为：c_i＝{c₁，c₂，...，c_n}，表示每一个轮廓的像素集合，并且有表示连通矩阵E_ij和顶点信息矩阵V_ij，表示其结构信息；

其次，计算每一个子轮廓结构的几何中心表示每一个轮廓的坐标和的平均值，最外层轮廓确定其外接矩阵坐标，并作为最外层轮廓的子结构加入结构信息数据结构；

然后，通过连通矩阵遍历轮廓结构，确定其几何中心与相连轮廓中心的欧氏距离dis和偏转角度angle，最终结果存入连通矩阵E_ij＝(dis，anqle)，此时E_ij表示邻接矩阵；最后标记最外层轮廓的几何中心作为结构信息数据结构的根节点N_root；

步骤3、以最小残差和进行特征图匹配；

图像表示为I_T(i，j)，样本图像表示为I_S(i，j)，则差影法可以抽象为：I_res(i，j)＝f(I_S(i，j)，M)-I_T(i，j)，I_res(i，j)表示为残差图像，表示为差影的结果，M为映射矩阵，作为工业图像处理，相机和承载面的距离是固定的，且通过第三条假设可知，物体不存在仿射变换或者非线性变换，由此可以推断f函数，即样本图像映射到模板图像应是一种刚性变换，公式如下：

x′、y′表示样本图像在刚性变换之后的结果，x、y则表示样本图像变换前的坐标，因此求得映射矩阵的三个未知数(θ，t_x，t_y)，可以得到目标结果I_res(i，j)；

差影之后的图像应是极小部分的瑕疵区域有明显的灰度值，而大部分区域的灰度值应都接近于0；最理想的情况是整幅残差图像皆为黑色，说明映射建模完美且待测样本没有瑕疵；因此相对于映射的差异，瑕疵所造成的灰度值可以忽略不计；通过残差图像的绝对值的灰度值之和来描述匹配结果的好坏，描述如下：

图像匹配通过特征点的提取转换为特征点的直接匹配问题，因此I_S(i，j)与I_T(i，j)的映射矩阵M可以通过I_S(i，j)的特征点集E_s和I_T(i，j)的特征点集E_T来决定，通过残差图像的绝对值的灰度值之和来描述匹配结果，遍历特征图得到最优化映射矩阵M，然后将待测图像映射到基准图像坐标系；

步骤4、计算差影结果；

首先确定匹配对(N_s，N_T)，并且根据此信息确定映射矩阵M中三个未知数中的t_x，t_y，从根节点开始进行广度优先搜索，衡量其可能存在的待匹配点的距离，即Dif＝abs(E_s(i，j).dis-E_T(k，l).dis)，对其结果进行排序搜索出Dif最小的值，并且通过此值索引处对应特征点的坐标值V_s(j)和V_T(l)和其对应的偏转角度angle，通过偏转角度与坐标值计算映射矩阵M的最后一个参数θ，判断公式为(1-1)，遍历所有可能性，找出结果最小的情况，其对应的参数θ即为所求结果，通过公式I_res(i，j)＝abs(f(I_S(i，j)，M)-I_T(i，j))即可计算出差影图，根据差影图进行自适应灰度直方图均衡，得出粗分割区域；

步骤5、线性形态缺陷建模：

首先，使用随机漫步算法生成缺陷的骨架；

其次，骨骼被转换成一个连接区域，并通过形态学扩张操作扩展该区域；

然后，根据高斯分布确定生成的线性区域的灰度值；

最后，通过图像融合算法生成合成图像，通过裁剪操作得到局部缺陷图像；

步骤6、由于内部结构的差异，块状缺陷的生成原理也不同，一种是块状内部颜色中空的结构，称之为斑点结构，另一种是在块状边缘以内的区域存在一些其他的灰度值变化或者几何结构，称之为簇状结构，因此需要针对这两种不同的特性分别进行仿真建模，如下：

首先，随机生成一个不规则的闭合曲线；

其次，根据不规则曲线内部生成的缺陷区，分别用不同的原理处理从而得到斑点结构和簇状结构；

然后，接着在缺陷区域填充阶段，根据高斯分布和现有的纹理确定生成的块状区域的灰度值；

最后，同线性缺陷一样进行简单的图形融合生成最后的合成图像；

步骤7建立人工缺陷样本数据集和真实样本数据集：

通过手机真实标注样本和线性和块状形态的缺陷建模，构建两个数据集，并且在神经网络训练结果输出时进行人工标注，逐步扩大真实样本数据集规模；

步骤8由于数据集分为两部分，人工合成数据集以及真实缺陷数据集，为了实现在小样本集的情况下的精确检测，利用人工合成的缺陷数据集，将其应用到深度学习分类和目标检测任务中，首先，使用人工合成数据集对深度学习算法进行训练，得到初步的训练模型，然后，由于真实缺陷数据集的数量不足，因此需要对真实缺陷进行剪切或旋转或缩放或坐标变换或加噪声操作扩充真实缺陷数据集，然后利用扩充之后的真实数据集对初步训练模型进行进一步的训练，最后就会得到一个性能良好的玻璃盖板缺陷识别网络。