[发明专利]一种工件检测方法、模型训练方法及设备

权利要求书

1.一种工件检测模型训练方法，其特征在于，包括：

获取第一组训练数据、第二组训练数据和第三组训练数据；

利用所述第一组训练数据，对第一层卷积神经网络进行训练，得到第一训练模型；其中，在对所述第一层卷积神经网络进行训练时，以原始图像样本作为输入，以能够用于确定工件图像的第一信息作为输出；所述原始图像样本包括不含有工件的图像样本以及含有若干个工件的图像样本，并且，不同的工件图像与不同的工件之间呈一一对应关系；当一张所述原始图像样本中包含多个工件时，所述第一层卷积神经网络相应地输出与所述多个工件对应的多份所述第一信息；

利用所述第二组训练数据，对第二层卷积神经网络进行训练，得到第二训练模型；其中，在对所述第二层卷积神经网络进行训练时，以工件图像作为输入，以能够用于确定工件位置关键点图像的第二信息作为输出，并且，每个工件图像均对应于N个工件位置关键点，N为大于1的整数；

利用所述第三组训练数据，对第三层卷积神经网络中的N个卷积神经网络进行训练，得到N个第三训练模型；其中，在每次对所述第三层卷积神经网络中的任一个卷积神经网络进行训练时，以一个工件位置关键点图像作为输入，以该工件位置关键点的坐标作为输出。

2.根据权利要求1所述的工件检测模型训练方法，其特征在于，

所述第一信息为位于所述第一组训练数据中的能够反映感受野区域上包含工件或不包含工件的概率的热图；

所述第二信息为位于所述第二组训练数据中的工件位置关键点相对于工件图像的坐标；

所述第三训练模型输出的工件位置关键点的坐标为工件位置关键点相对于工件图像的坐标。

3.根据权利要求1所述的工件检测模型训练方法，其特征在于，所述获取第一组训练数据，包括：

获取通过图像采集的方式得到的原始采集图像；

对所述原始采集图像进行位移和/或缩放和/或旋转处理得到处理后图像；

将所述原始采集图像和所述处理后图像作为所述原始图像样本。

4.根据权利要求1至3任一项所述的工件检测模型训练方法，其特征在于，

所述第一层卷积神经网络包括1个全卷积神经网络；

所述第二层卷积神经网络包括1个卷积神经网络，并且，该卷积神经网络中输入侧的一个工件图像对应于输出侧的5个工件位置关键点；

所述第三层卷积神经网络包括5个卷积神经网络。

5.一种工件检测方法，其特征在于，包括：

对工件的作业现场进行图像采集，得到待检测原始图像；

将所述待检测原始图像输入至第一训练模型，得到第一信息；

利用所述第一信息确定出每个工件的工件图像，并将确定出的工件图像从所述待检测原始图像上裁剪出来，得到待检测工件图像；

将所述待检测工件图像输入至第二训练模型，得到第二信息；

利用所述第二信息确定出每个工件位置关键点图像，并将确定出的工件位置关键点图像从所述待检测工件图像上裁剪出来，得到待检测关键点图像；

将所述待检测关键点图像输入至第三训练模型，得到相应的工件位置关键点的坐标；

其中，所述第一训练模型、所述第二训练模型和所述第三训练模型为利用如权利要求1所述的工件检测模型训练方法得到的模型。

6.根据权利要求5所述的工件检测方法，其特征在于，

所述第二信息为工件位置关键点相对于工件图像的坐标；

通过所述第三训练模型得到的工件位置关键点的坐标为工件位置关键点相对于工件图像的坐标；

相应的，所述利用所述第二信息确定出每个工件位置关键点图像，包括：

对所述第二信息进行坐标变换，得到相应工件位置关键点在所述待检测原始图像上的第一像素坐标；

根据所述第一像素坐标，在所述待检测原始图像上确定出相应工件位置关键点所在区域对应的图像。