[发明专利]一种印制电路板表面缺陷定位与识别方法

权利要求书

1.一种印制电路板表面缺陷定位与识别方法，其特征在于，包括如下步骤：

(1)图像采集：采集印制电路板待测图像I(x,y)与模板图像T(x,y)；

(2)图像配准：通过两个卷积神经网络精确配准待测图像I(x,y)及模板图像T(x,y)，得到配准后的待测图像

(3)缺陷定位：将配准后的待测图像与模板图像T(x,y)通过傅立叶变换及反变换，定位疑似缺陷区域D＝{Dect(x_i,y_i,w_i,h_i)0iK}，其中，Dect(x_i,y_i,w_i,h_i)为坐标在(x_i,y_i),长、宽为w_i,h_i的矩形区域，K为大于0的自然数；

(4)缺陷识别：将集合D中疑似缺陷区域图像块输入第三个卷积神经网络，进行缺陷识别，得到缺陷类型；

所述步骤(2)图像配准具体包括以下步骤：

(21)以待测图像I(x,y)的像素点(x_i,y_i)为中心获取尺寸为32×32的图像块，并将该图像块送入第一个卷积神经网络，得到该像素点(x_i,y_i)为疑似特征点的预测值socre_i；

(22)通过预测值socre_i获得待测图像I(x,y)的预测值分布图S(x,y)，并通过非极大值抑制算法筛选S(x,y)中预测值的所有局部极大值点P_I＝{(x_n,y_n)1≤n≤N}，将这些点作为待测图像I(x,y)的最终特征点，P_I即为最终特征点集合，其中，N为大于1的自然数；

(23)以最终特征点集合P_I中所有特征点(x_n,y_n)为中心，将尺寸为32×32的图像块输入第二个卷积神经网络，得到描述各特征点(x_n,y_n)的128维特征向量,得到P_I所有特征点的描述向量集合

(24)将待测印制电路板的模板图像T(x,y)同样经过步骤(21)至(23)，得到模板图像T(x,y)的特征点集合P_T＝{(x_m,y_m)|1≤m≤M}及其描述向量其中，M为大于1的自然数；

(25)根据待测图像I(x,y)的最终特征点集合P_I与模板图像T(x,y)的特征点集合P_T，计算集合P_I中任意一个特征点(x_n,y_n)与集合P_T的所有点对应的描述向量的距离，将距离最小的一对特征点作为匹配点，得到匹配点集合H＝{(x_n,y_n,x_m,y_m)|(x_n,y_n)∈P_I,(x_m,y_m)∈P_T,1≤n≤N}，距离度量公式为：

式中，为特征点(x_n,y_n)的128维特征向量的倒置矩阵；

(26)根据匹配点集合采用随机抽样一致算法计算待测图像I(x,y)到模板图像T(x,y)的仿射变换矩阵T，将待测图像I(x,y)通过仿射变换矩阵投影到模板图像T(x,y)上，得到配准后的待测图像

所述步骤(3)缺陷定位具体包括以下步骤：

(31)灰度化步骤(2)中配准后的待测图像与模板图像T(x,y)，并将两幅图像分别分割为36块尺寸为120×120的局部图像通过傅立叶变换求得所有局部图像的频域谱及功率谱具体计算公式为：

式中，(x,y)为大小M×N的原图像上的一点，原图像矩阵所在的坐标系称为空间域，F(u,v)为输入图像的二维傅立叶变换后的频域矩阵，其所在坐标系即为频域，u和v用于确定正余弦的频率，P(u,v)为原图像的功率谱；

(32)将功率谱转换为极坐标形式对于沿着任意方向θ的匹配图像功率谱计算配准后待测图像块与模板图像块T(x,y)_i的异常频率分量计算公式为：

式中，C取值1.25，分别表示极坐标形式下待测图像块距离功率谱中心角度为θ、长度为γ-1、γ+1处的功率谱值，P_T(γ-1,θ)_i、P_T(γ+1,θ)_i分别表示极坐标形式下模板图像块T(x,y)_i距离功率谱中心角度为θ、长度为γ-1、γ+1处的功率谱值；

(33)将得到的异常频率分量保留，其他频率分量置为0，得到异常频率谱，将异常频率谱通过傅立叶反变换为空间域图像，并将该空间域像素值为1的区域分割成多个不同大小的连通域，这些连通域的最小外接矩阵框的集合D＝{Dect(x_i,y_i,w_i,h_i)|0iK}，即为原图像I(x,y)中疑似缺陷的位置；

所述步骤(4)缺陷识别具体包括以下步骤：

(41)将原图像I(x,y)在疑似缺陷位置框Dect(x_i,y_i,w_i,h_i)上的图像裁剪成图像块Dect_I(x_i,y_i,w_i,h_i)；

(42)将图像块Dect_I(x_i,y_i,w_i,h_i)送入第三个卷积神经网络，得到疑似区域的缺陷识别概率分布{Re1,Re2,Re3,Re4,Re5,Re6}，其中1～6分别代表印制电路板上常见的短路、断路、孔洞、漏孔、毛刺、余铜六类缺陷，将输出序列中概率最高的一类作为疑似区域的缺陷类别，即得到最终的识别结果。