[发明专利]一种基于机器视觉的串采二次定位方法

权利要求书

1.一种基于机器视觉的串采二次定位方法，其特征在于：包括以下步骤：

S1、将待处理的番茄果实串图像输入基于YOLOv4网络的成熟番茄果实串识别模型中；

S2、由所述基于YOLOv4网络的成熟番茄果实串识别模型判断待处理的番茄果实串图像中是否存在成熟的番茄果实串，若判断为是，则执行步骤S3，否则，不做处理；

S3、由所述基于YOLOv4网络的成熟番茄果实串识别模型从待处理的番茄果实串的图像中提取感兴趣区域图像并输出，所述感应趣区域图像包含成熟番茄果梗和果实串，并执行步骤S4；

S4、判断所述感兴趣区域图像是否超出步骤S1中待处理的番茄果实串图像的尺寸范围，若不超出，则执行步骤S5，若超出，则不进行处理；

S5、将所述感兴趣区域图像输入至基于Mask R-CNN网络的成熟番茄果梗和果实串的分割模型；

S6、根据基于Mask R-CNN网络的成熟番茄果梗和果实串的分割模型的输出结果定位出所述感兴趣区域图像中的采摘点，并根据定位出的所述感兴趣区域图像中的采摘点获取步骤S1中待处理的番茄果实串图像的采摘点；

S7、由采摘机器人根据待处理的番茄果实串图像的采摘点完成采摘；

所述基于YOLOv4网络的成熟番茄果实串识别模型的建立方法包括：

采集番茄果实串图像，根据采集到番茄果实串图像建立第一图像数据集，并建立基于YOLOv4网络的成熟番茄果实串初始识别模型，利用所述第一图像数据集对该初始识别模型进行训练，训练完成后得到基于YOLOv4网络的成熟番茄果实串识别模型；

基于Mask R-CNN网络的成熟番茄果梗和果实串的分割模型的建立方法包括：由所述基于YOLOv4网络的成熟番茄果实串识别模型从番茄果实串图像中提取出感兴趣区域图像，以提取出的感兴趣区域图像构建第二图像数据集，并建立Mask R-CNN网络的成熟番茄果梗和果实串的初始分割模型，利用所述第二图像数据集对该初始分割模型进行训练，训练完成后得到基于Mask R-CNN网络的成熟番茄果梗和果实串的分割模型。

2.根据权利要求1所述的基于机器视觉的串采二次定位方法，其特征在于：建立所述第一图像数据集时需进行目标框选标注，所述目标框选标注仅标注红色成熟番茄果实串。

3.根据权利要求1所述的基于机器视觉的串采二次定位方法，其特征在于：建立所述第二图像数据集时需对果梗和果实串进行实例分割标注。

4.根据权利要求1所述的基于机器视觉的串采二次定位方法，其特征在于：采集番茄果实串图像时需采集不同场景、不同时间、不同光照和不同转色期的番茄果实串图像。

5.根据权利要求1所述的基于机器视觉的串采二次定位方法，其特征在于：由所述基于YOLOv4网络的成熟番茄果实串识别模型从待处理的番茄果实串的图像中提取感兴趣区域图像的方法为：根据待处理的番茄果实串图像中成熟番茄果梗和果实串的姿态分布情况进行扩展框选，直至包含成熟番茄的果梗和果实串而得到所述感兴趣区域图像。

6.根据权利要求5所述的基于机器视觉的串采二次定位方法，其特征在于：

将根据待处理的番茄果实串图像中成熟番茄果梗和果实串的姿态分布情况进行扩展框选时的扩展框选宽度记为c，高度记为d，待处理的番茄果实串图像大小记为a*b，a表示图像宽度，b表示图像高度，a、b、c、d的单位均为像素，待处理的番茄果实串图像所在的二维直角坐标系记为第一坐标系,所述第一坐标系包括相垂直的X轴和Y轴；

则所述步骤S4中判断所述感兴趣区域图像是否超出步骤S1中待处理的番茄果实串图像的尺寸范围的方法为：将所述基于YOLOv4网络的成熟番茄果实串识别模型的输出框的中心点位置记为(X0，Y0)，输出框宽度为w，高度为h，则若在X轴上有(X0-w/2-c)＞0且(X0+w/2+c)a，且在Y轴上有(Y0-h/2-d)＞0，则所述感兴趣区域图像不超出步骤S1中待处理的番茄果实串图像的尺寸范围。