[发明专利]基于深度学习的小型零件分拣方法及其分拣系统

权利要求书

1.一种基于深度学习的小型零件分拣系统的分拣方法，其特征在于，其包括以下步骤：

S1、基于YOLO v4目标检测网络训练零件识别模型，通过训练好的零件识别模型检测图片中的零件，输出图中零件的类别名和坐标信息，具体步骤为：

S11、对样本数据进行采集和扩充；

样本数据的扩充方式为：通过调整图像亮度、对比度、色度、饱和度、加入噪声，以及随机旋转、旋转、翻转和裁剪对样本进行扩充；

S12、对样本图片进行标注：使用图像标注软件对样本数据进行标注，框选出各图中的零件并标记各零件的名称，保存并输出标注文件，之后划分数据集，训练集和测试集的比例为9:1；

S13、零件检测模型的训练：针对生产线上的零件分拣问题，搭建基于深度学习YOLO v4目标检测网络的零件识别网络，以CSPDarknet53网络框架作为骨干网络，空间金字塔池化SPP作为网络颈部的附加模块，路径聚合网络PAN作为网络颈部的特征融合模块，YOLOv3作为网络头部；将YOLO v3边界框回归损失中的均方误差MSE替换为考虑预测框与真实框中心点的标准化距离和长宽比信息的重叠度损失CIOU，CIOU损失定义如下：

L_CIOU＝1-IOU(A,B)+ρ²(A_ctr,B_ctr)/c²+α.v (1)

其中，IOU(A,B)为预测框A与真实框B的重叠度损失IOU，ρ²(A_ctr,B_ctr)/c²为对中心点距离的惩罚项，A_ctr、B_ctr分别为预测框、真实框的中心点坐标，ρ(A_ctr,B_ctr)表示计算预测框中心点和真实框中心点两点间的欧式距离，c为A、B最小包围框的对角线长度，α.v为长宽比的惩罚项，α为正数，v衡量长宽比的一致性，具体如下：

其中，w^gt、h^gt分别为真实框的宽和高，w、h分别为预测框的宽和高；

最后通过训练得到效果好的零件识别模型；

S2、将零件图像的像素坐标转化为世界坐标，具体步骤为：

S21、将图像的像素坐标(u,v)转化为物理坐标系(x,y)，转化关系如下：

其中，(u₀,v₀)为图像平面的中心点坐标，dx、dy分别为x、y轴上一个像素点的大小；

S22、图像的物理坐标(x,y)转化为相机坐标(xc,yc,zc)，转化关系如下:

其中，f为相机的焦距，zc大小为相机到传送带的距离；

S23、将相机坐标系下的坐标(xc,yc,zc)转换为世界坐标系下的坐标(xw,yw,zw)，转化关系如下：

其中，R为旋转正交变换矩阵，T为平移变化矩阵；

结合表达式(5)-(9)表达式，可得

S3、将零件抓取至对应分拣箱内，具体步骤为：

S31、读取待分拣零件的个数、类别名及其对应的零件坐标和目标分拣箱的坐标；

S32、对识别的n个零件进行依次分拣，分拣完成后机械臂归位，传送带启动，进行下一组零件的识别。

2.根据权利要求1所述的基于深度学习的小型零件分拣系统的分拣方法，其特征在于，所述S11中，样本数据的采集为：使用工业相机采集1000张样本零件的图片。

3.根据权利要求1所述的基于深度学习的小型零件分拣系统的分拣方法，其特征在于，所述S13中，通过训练的零件识别模型同时预测图中零件的类别和位置坐标。