[发明专利]基于深度学习对SMT电子元件三维重建的方法

权利要求书

1.基于深度学习对SMT电子元件三维重建的方法，其特征在于，包括：

步骤一，通过传统方法投射正弦条纹光到被测物，通过相位移方法求出相对相位并还原绝对相位，并给予标定数据将绝对相位转换为高度数据，从而获得被检测物的3D模型；

步骤二，通过多角度拍摄获取被测物的多角度2D图像，将多角度图像输入深度神经网络推导获得被检测物的3D模型；

步骤三，将步骤一与步骤二中获取的两种3D模型结合合成最终三维轮廓重建；

步骤四，对步骤一中获取的3D模型进行置信度统计，对置信度高的模型带入到步骤三中获取的模型数据进行交并比计算，当得分比较低时，将步骤一获取的3D模型带入数据库中用来训练更新步骤二中的模型。

2.根据权利要求1所述的基于深度学习对SMT电子元件三维重建的方法，其特征在于，在步骤二中，所述的深度神经网络包括2D-CNN编码网络、3D-LSTM网络和3D-CNN解码网络，其中三维卷积LSTM(3D-LSTM)网络由一组结构化3D-LSTM单元组成，输入一组多角度目标图片通过2D-CNN编码网络转换为低维度特征将低维度特征输入3D-LSTM网络，一组3D-LSTM单元有选择性的更新表示状态，最后3D-CNN解码LSTM单元的隐藏状态并生成3D体素概率重建。

3.根据权利要求1所述的基于深度学习对SMT电子元件三维重建的方法，其特征在于，步骤三中所述的三维轮廓重建的方法具体步骤是：

3.1计算步骤一中3D数据中存在较大异常部分的2D Mask与对应的置信系数；

3.2使用2D Mask筛选出步骤二中获取3D模型数据；

3.3使用2D Mask将筛选数据乘上置信系数填补到步骤一中获取的3D模型数据上完成最终模型重建。

4.根据权利要求2所述的基于深度学习对SMT电子元件三维重建的方法，其特征在于，步骤四中交并比的计算公式：

I为指标函数，p_(i,j,k)为步骤二网络输出，表征预测体素(i,j,k)占有概率，y_(i,j,k)为步骤一输出模型数据，表征真实模型转化体素占有率，t为Threshold的简写。

5.根据权利要求4所述的基于深度学习对SMT电子元件三维重建的方法，其特征在于，构建和训练深度神经网络模型，具体步骤如下：

步骤2.1，2D-CNN编码网络，被检测物不同角度的多张图片作为训练样本输入后，通过2D卷积神经网络先将一组多角度目标图片转为低维度参数2D-CNN编码网络采用的网络模型包括标准卷积层、池化层、ReLU、残差连接和全连接层，且在标准卷积层之间添加了残差连接；

步骤2.2，3D-LSTM单元均匀分布在3D空间网格中，每个单元负责重构最终输出的特定部分，在3D网格內有N×N×N个3D-LSTM单元，其中N是3D-LSTM网格的空间分辨率；假定每个3D-LSTM单元的每个体素(i,j,k)包含独立的隐藏状态其中代表分辨率N情况下所有隐藏状态h_t的取值空间，结合LSTM的常规结构每个3D-LSTM单元由f_t、i_t、s_t、h_t4维张量组成N_h个N×N×N的向量，控制3D-LSTM网格的方程为：

h_t＝tanh(s_t)

其中*为卷积计算，σ表征总和符号，i_t、f_t分别指输入门和输出门；s_t和h_t分别表示存储单元和隐藏状态；⊙用来表示元素相乘，下标t表示t时的激活；W、U分别是变换当前输入x_t和先前隐藏状态h_t-1的矩阵，b表示偏差；

3D-LSTM网络收到上一节点的输入的1024维特征向量，3D卷积LSTM单元或是选择性地更新单元状态，或是通过关闭输入门以继续保持当前时刻单元状态；

步骤2.3，3D-CNN解码网络接收图像输入序列x₁、h₁…x_T，3D-LSTM网络通过隐藏状态h_t传递给解码网络，解码网络使用3D卷积、Non-linearities、3Dunpooling方法不断训练逼近目标输出分辨率；

步骤2.4，训练深度网络阶段的网络损失函数使用voxel-wise交叉熵和，设每个体素(i,j,k)的最终输出符合伯努利分布[1-p_(i,j,k)，p_(i,j,k)]，其中p_(i,j,k)表征预测体素(i,j,k)占有概率，相应的输入为真实模型转化体素占有率输出为y_(i,j,k)∈{0，1}，评价函数为