[发明专利]基于深度学习对SMT电子元件三维重建的方法

说明书

本发明针对SMT表面贴装电子元件三维光学测量后提出了一种基于深度学习的三维数据重建方法，包括如下步骤：步骤一，通过相位移的方法还原被测物表面；步骤二，构建一个神经网络通过多角度拍摄获取被测物的多角度2D图像来还原被检测物的3D模型；步骤三，使用步骤一与步骤二中获取的两种3D模型数据合成最终最完善三维轮廓；步骤四，将传统方法、神经网络推到出的模型数据进行交并比计算，当得分比较低时，使用步骤一数据更新训练步骤二神经网络。

技术领域

本发明涉及SMT表面贴装的光学检测领域，尤其涉及基于深度学习对SMT电子元件三维重建的方法。

背景技术

SMT即表面贴装技术是在PCB基础上进行加工的系列工艺流程的简称，是电子组装行业里最流行的一种技术和工艺，生活中几乎每一种我们常见的电子设备，比如手机、汽车、计算机、家电、电子通讯等都会用到SMT工艺生产的电路系统，这些系统由PCB、电容、电阻、芯片等电子元器件按设计的电路图设计而成，SMT工艺从诞生之初就一直跟随电子技术的发展不断提升工艺难度，SMT工艺要求来自电子技术产业要求的高可靠，高密度，高产能的特性，这些特性也决定了它对每个元器件的精确性要求十分高，所以SMT进行规模化检测已成为生产重要流程之一。

目前SMT行业大多采用AOI进行检测，AOI的中文全称是自动光学检测，随着SMT产业焊锡无铅化、贴片元件密集微型化的发展趋势，所导致的焊点不良的问题较以往更加突出，为了应对虚焊、翘脚、漏检、误报等检测缺陷，整个行业越来越倾向使用3D AOI进行检测。而如何获得尽可能好的三维重建数据是使用3D AOI获得较好的检测效果的关键。由于被检测电子元件表面存在部分区域过暗、部分区域过亮的情况，从而对相位数据的获取带来影响，通常总会或多或少会有部分数据缺失，这会导致三维重建存在毛刺、坍陷等瑕疵。如果仅采用人为设定滤波的方式使其表面平滑，会导致一定程度失真并将影响到后续算法进一步处理的准确性。

发明内容

本发明针对现有SMT中PCB上电子元件三维重建中因光源、基板颜色与材质、元件本身的表面特性造成的亮度不均匀，从而导致三维重建数据出现毛刺、坍陷等瑕疵的技术问题，提供了一种基于深度学习对SMT电子元件三维重建的方法，一种端到端神经网络通过训练大量被测电子元件的多角度2D图输出其标准3D模型，将基于正弦条纹光光学检测获取的三维原始高度数据与通过深度神经网络得到的3D模型数据结合得到更为真实、细腻的三维轮廓重建。

本发明的基于深度学习对SMT电子元件三维重建的方法，具体包括如下步骤：

步骤一，通过传统方法投射正弦条纹光到被测物，通过相位移方法求出相对相位并还原绝对相位，并给予标定数据将绝对相位转换为高度数据，从而获得被检测物的3D模型；

步骤二，通过多角度拍摄获取被测物的多角度2D图像，将多角度图像输入深度神经网络推导获得被检测物的3D模型；

所述的深度神经网络包括2D-CNN编码网络、3D-LSTM网络和3D-CNN解码网络，其中三维卷积LSTM(3D-LSTM)网络由一组结构化3D-LSTM单元组成，输入一组多角度目标图片x，通过2D-CNN编码网络转换为低维度特征将低维度特征输入3D-LSTM网络，一组3D-LSTM单元有选择性的更新表示状态，最后3D-CNN解码LSTM单元的隐藏状态并生成3D体素概率重建。

步骤三，将步骤一与步骤二中获取的两种3D模型结合合成最终三维轮廓重建；

所述的三维轮廓重建的方法具体步骤是：

3.1计算步骤一中3D数据中存在较大异常部分的2D Mask与对应的置信系数；

3.2使用2D Mask筛选出步骤二中获取3D模型数据；

3.3使用2D Mask将筛选数据乘上置信系数填补到步骤一中获取的3D模型数据上完成最终模型重建。