[发明专利]基于多维融合及语义分割的电子器件缺陷检测方法及装置

权利要求书

1.基于多维融合及语义分割的电子器件缺陷检测方法，其特征在于，包括：

步骤a，获取电子元器件外观的二维图像数据及三维点云数据；

步骤c，对所述二维图像数据及所述三维点云数据进行配准处理，构建多通道复合图像；

步骤d，通过语义分割网络对所述多通道复合图像进行缺陷检测和分类；

所述语义分割网络依次包括：

至少一卷积层、一池化层、至少一功能层、一归一卷积层和一反卷积层；其中，所述归一卷积层，为滤波器数为1的所述卷积层；所述功能层包括依次连接的至少一所述卷积层和一所述池化层；

所述功能层的数量的计算公式为：

式中，k为功能层数量，p为所述电子元器件上缺陷的最小尺度，单位为mm，[]为向下取整符号。

2.如权利要求1所述的电子器件缺陷检测方法，其特征在于，所述语义分割网络的具体结构为：

第一层，卷积核大小为3、步长为1的卷积层，输出特征图数目为64；

第二层，池化核大小为2、步长为2的池化层；

第三层，卷积核大小为9、步长为1的卷积层，输出特征图数目为128；

第四层，卷积核大小为1、步长为1的卷积层，输出特征图数目为64；

第五层，池化核大小为2、步长为2的池化层；

第六层，卷积核大小为9、步长为1的卷积层，输出特征图数目为256；

第七层，卷积核大小为1、步长为1的卷积层，输出特征图数目为128；

第八层，卷积核大小为3、步长为1的卷积层，输出特征图数目为64；

第九层，卷积核大小为3、步长为1的卷积层，输出特征图数目为1；

第十层，卷积核大小为9，步长为4的反卷积层，输出特征数目为1。

3.如权利要求1所述的电子器件缺陷检测方法，其特征在于，还包括步骤b，对所述二维图像数据及所述三维点云数据进行预处理和粗检，并将预处理后的所述三维点云数据转换为深度重构图。

4.如权利要求3所述的电子器件缺陷检测方法，其特征在于，所述三维点云数据转换为深度重构图中，包括：

步骤b251，将所述三维点云数据的每个点映射到所述深度重构图中；

步骤b252，将所述深度重构图的灰度值进行归一化。

5.如权利要求4所述的电子器件缺陷检测方法，其特征在于，所述三维点云数据的每个点映射到所述深度重构图中的映射关系满足：

其中，I_rd(X,Y)代表深度重构图中第X行、第Y列像素点的像素值，[]为向下取整符号，M_XY是以点(X,Y)为中心，大小为3×3的矩阵，Ratio为扩大比例，表示矩阵的卷积运算。

6.如权利要求3所述的电子器件缺陷检测方法，其特征在于，所述步骤c包括：

步骤c3，确定所述二维图像数据与所述深度重构图之间的比例关系；

步骤c4，建立所述二维图像数据与所述深度重构图中相同区域的匹配关系；

步骤c5，对所述深度重构图进行超分辨率处理，使之与所述二维图像数据的分辨率相同；

步骤c6，将所述二维图像数据与超分辨率处理后的所述深度重构图组合为所述多通道复合图像。