[发明专利]基于多维融合及语义分割的电子器件缺陷检测方法及装置

说明书

本发明公开一种基于多维融合及语义分割的电子器件缺陷检测方法及装置，所述电子器件缺陷检测方法包括：步骤a，获取所述电子元器件外观的二维图像数据及三维点云数据；步骤c，对所述二维图像数据及所述三维点云数据进行配准处理，构建多通道复合图像；步骤d，通过语义分割网络对所述多通道复合图像进行缺陷检测和分类；所述电子器件缺陷检测装置包括对应的获取单元，复合单元和语义分割单元。通过语义分割网络进行缺陷检测，能够利用大量的样本数据，通过卷积的手段从多个层次提取待测缺陷的特征，从而为缺陷的检测和分类提供丰富而可靠的依据，提升检测精度。

技术领域

本发明涉及表面缺陷检测技术领域，具体涉及一种基于多维融合及语义分割的电子器件缺陷检测方法及装置。

背景技术

随着现代科学技术的发展，越来越多的领域变得更加智能化，各种新型电子设备层出不穷，因此对电子元器件的需求量不断上涨，生产商对其产品质量的检测任务也变得更加艰巨。在生产芯片、电池、电路板等电子元器件的过程中，可能会产生磕碰、划伤、脏污等缺陷，这些缺陷在性能测试中经常不会表现出异常，但在实际使用过程中，电子元器件经常面临长期高负载工作或较恶劣的工作环境，这些缺陷极有可能影响元器件性能，甚至产生安全隐患。过去的十几年中，工业生产流程有了极大的进步，但对产品外观的缺陷检测仍主要以人工检测的方式进行，这种方式不仅会因为个人主观因素而导致检测标准的不统一，还会因为长时间检测造成视觉疲劳，产生误判或漏判。

近年来，随着技术的进步与设备的更新，工业领域的自动化检测越来越受到研究者的关注。其中大多数采用了传统的图像处理技术和单一的传感器类型，有些使用了激光扫描仪获取待测锯材的三维信息并进行检测，但该方法获得的三维信息精度不高，仅适用于处理锯材等较大物体的大缺陷检测，不适用于电子元器件的检测。

鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本发明。

发明内容

为解决上述技术缺陷，本发明采用的技术方案在于，首先提供一种基于多维融合及语义分割的电子器件缺陷检测方法，其包括：

步骤a，获取所述电子元器件外观的二维图像数据及三维点云数据；

步骤c，对所述二维图像数据及所述三维点云数据进行配准处理，构建多通道复合图像；

步骤d，通过语义分割网络对所述多通道复合图像进行缺陷检测和分类。

较佳的，所述语义分割网络依次包括：

至少一卷积层、一池化层、至少一功能层、一归一卷积层和一反卷积层；其中，所述归一卷积层，为滤波器数为1的所述卷积层；所述功能层包括依次连接的至少一所述卷积层和一所述池化层。

较佳的，所述功能层的数量的计算公式为：

式中，k为功能层数量，p为所述电子元器件上缺陷的最小尺度，单位为mm，[]为向下取整符号。

较佳的，所述语义分割网络的具体结构为：

第一层，卷积核大小为3、步长为1的卷积层，输出特征图数目为64；

第二层，池化核大小为2、步长为2的池化层；

第三层，卷积核大小为9、步长为1的卷积层，输出特征图数目为128；

第四层，卷积核大小为1、步长为1的卷积层，输出特征图数目为64；

第五层，池化核大小为2、步长为2的池化层；

第六层，卷积核大小为9、步长为1的卷积层，输出特征图数目为256；

第七层，卷积核大小为1、步长为1的卷积层，输出特征图数目为128；