[发明专利]高速焊线机焊点快速识别与定位方法

权利要求书

1.高速焊线机焊点快速识别与定位方法，其特征是：包括如下步骤：

(1)获取各类焊点图像数据：通过高速焊线机捕捉保存及使用模拟实验台拍摄获取焊点图像数据；

(2)焊点图像数据预处理：将由高速焊线机上采集的图片统一转化成同一图片格式，并对其进行筛选、编号；

(3)制作目标图像数据集：使用Labellmg工具对预处理好的图片进行手工标注，对焊点目标进行自定义画框，并添加分类标签，标注完成后按VOC格式进行保存，形成.xml文件，再将图片数据和标注文件按VOC2007数据结构进行制作和存放，采用数据增强技术对目标数据集进行数量扩增，形成最后的训练集和验证集；

(4)构建FSD模型：在基于YOLO V3基础网络上进行构建FSD模型，整个FSD模型分为特征提取网络、特征交互网络以及目标检测与识别三部分；首先特征提取网络是将卷积层Con2D当作两个模块来进行计算，分别是3x3深度分离卷积+BN+ReLu和1x1卷积+BN+Relu，利用卷积计算公式：

D_K×D_K×M×D_F×D_F+M×N×D_F×D_F

通过比较计算量减少：

每个卷积层后面跟着一个BN层和一个Relu激活函数，其中：

BN层的计算公式为：

其中x_out为BN层计算结果，γ为缩放因子，μ为均值，σ²为方差，β为偏置，x_conv为卷积计算结果：

合并卷积层和BN层：

Relu激活函数，其公式为：

f(x)＝max(0，x)；

其次是特征交互网络，将浅层特征和深层特征进行多尺度融合，更充分的表示目标特征信息，其公式为：

上式中，F₁和F₂分别为第一个单元的特征提取融合和映射操作；和分别表示第一个单元的特征提取融合和映射操作；n表示多尺度卷积核的数量，和分别表示科学系的网络权重和偏差；表示激活函数，即等于上面的Relu激活函数，x为自变量，a＝0；

在进行目标识别与定位前，使用聚类算法确定微芯片图像训练集的先验框尺寸，针对微芯片训练集中包含N个数据样本，即标注框，N＝{(x_i，y_i，w_i，h_i)，i＝1，2，3，...，N}，其中(x_i，y_i)为标注框的中心点坐标，(w_j，h_j)是标注框的宽和高，首先进行聚类中心初始化，即给定K个聚类中心K＝{(W_j，H_j)，j＝1，2，3，...，K}，(W_j，H_j)为聚类中心的宽和高；

然后利用公式计算每个标注框与每个聚类中心的距离，根据距离将标注框归类到最近的聚类中心：

d(box，cetroid)＝1-IOU(box，cetroid)

式中，box为标注框，centroid为聚类中心，IOU为标注框与聚类中心的面积交并比：

接着所有标注框归类完成之后，重新使用公式计算6个簇的聚类中心：

两种尺度特征图输出最终将根据自己的尺寸大小来选择各自的anchor框，进行焊点位置预测，焊点坐标公式和置信度如下：

得到预测框之后，需要进行非极大值抑制，去掉多余预测框：

Score_ij＝P(C_i|object)*Confidence_j；

(5)训练与测试FSD：将步骤(3)中的训练集输入到FSD模型中进行训练，采用ubuntu系统、CUDA、CUDNN、Opencv、Darknet框架以及python环境训练上述模型，首先读取数据配置文件，接着读取网络配置文件，设置权重参数，启动训练，终端将自动加载网络模型和数据，训练网络，最后训练结束存储中间权重和最终的权重参数，训练过程初中的损失函数设计为：

式中i为一个边界框的索引；λ_obj当cell有物体存在是为1，否则为0；truth_w、truth_h为预测框宽、高真实值；truth_conf、predict_conf为置信度的真实值、预测值；接着进行模型测试与评估，使用以下指标来进行评估：

上式中：TP(True Positive)为被模型预测为正值的正样本，FP(False Positive)为被模型预测为负值的正样本，FN(False Negative)为被模型预测为负值的负样本；

(6)HD-FSD模型：使用已经训练好的模型识别和定位微芯片焊点图片，得到的HD-FSD模型，将该模型进行测试，使用高速焊线机机器视觉系统捕捉第一帧焊点图像，放入该模型中进行识别与定位，得到各焊点的中心坐标，最后配合机器运动控制系统完成焊线。