[发明专利]一种基于机器视觉的串采二次定位方法

说明书

本发明涉及一种基于机器视觉的串采二次定位方法，包括：先将待处理的番茄果实串图像输入基于YOLOv4网络的成熟番茄果实串识别模型中，以判断待处理的番茄果实串图像中是否存在成熟的番茄果实串，若存在则由上述识别模型从待处理的番茄果实串的图像中提取感兴趣区域图像并输出；判断感兴趣区域图像是否超出相应的图像尺寸范围，若不超出，则将感兴趣区域图像输入至基于Mask R‑CNN网络的成熟番茄果梗和果实串的分割模型，根据其输出结果定位出待处理的番茄果实串图像的采摘点，由采摘机器人根据采摘点完成采摘。本发明能够有效识别成熟番茄果实串并精确定位番茄果实串与果梗上的采摘点，能够实现高精度无损采摘。

技术领域

本发明涉及机器人采摘技术领域，尤其是指一种基于机器视觉的串采二次定位方法。

背景技术

采摘机器人为农业智能化的关键一环，在番茄串采摘机器人进行采摘工作时，识别成熟的果实串、定位果梗采摘点是番茄采摘作业中的重要一环，采摘时需要考虑刀片空间大小以保护番茄果实串和上方枝干不破损，找到合适的采摘点才能做到无损采摘，在果实识别与采摘点定位方面，目前主要是用传统机器视觉或者深度神经网络方法。

经过申请人海量检索，发现现有技术的采摘点识别如公开号为CN111666883A公开一种葡萄采摘机器人目标识别及果梗夹切点定位方法，采用Mask R-CNN对葡萄、果梗、背景三类mask进行识别，通过沿果梗直线判断是否为完整番茄串，再取果梗最低端往下延伸垂直线段，取线段中点为采摘点；公开号为CN109902538A公开的一种基于机器视觉的采摘，采用图像预处理，多尺度形态学的边缘处理、目标边界的提取以及质心的提取来预计采摘点的位置。

现有的技术中未考虑到果实重量较小，果梗存在横着生长的现象，也未考虑到实际果园中，果实串是多垄种植，存在前后背景的干扰，后垄果实串对当前识别的果实串存在干扰，有可能出现误识别和误采摘，并不能适用于实际生产过程。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中的采摘定位方法易出现误识别和误采摘的问题。

为解决上述技术问题，本发明提供了一种基于机器视觉的串采二次定位方法，包括以下步骤：

S1、将待处理的番茄果实串图像输入基于YOLOv4网络的成熟番茄果实串识别模型中；

S2、由所述基于YOLOv4网络的成熟番茄果实串识别模型判断待处理的番茄果实串图像中是否存在成熟的番茄果实串，若判断为是，则执行步骤S3，否则，不做处理；

S3、由所述基于YOLOv4网络的成熟番茄果实串识别模型从待处理的番茄果实串的图像中提取感兴趣区域图像并输出，所述感应区区域图像包含成熟番茄果梗和果实串，并执行步骤S4；

S4、判断所述感兴趣区域图像是否超出步骤S1中待处理的番茄果实串图像的尺寸范围，若不超出，则执行步骤S5，若超出，则不进行处理；

S5、将所述感兴趣区域图像输入至基于Mask R-CNN网络的成熟番茄果梗和果实串的分割模型；

S6、根据基于Mask R-CNN网络的成熟番茄果梗和果实串的分割模型的输出结果定位出所述感兴趣区域图像中的采摘点，并根据定位出的所述感兴趣区域图像中的采摘点获取步骤S1中待处理的番茄果实串图像的采摘点；

S7、由采摘机器人根据待处理的番茄果实串图像的采摘点完成采摘。

在其中一个实施例中：所述基于YOLOv4网络的成熟番茄果实串识别模型的建立方法包括：

采集番茄果实串图像，根据采集到番茄果实串图像建立第一图像数据集，并建立基于YOLOv4网络的成熟番茄果实串初始识别模型，利用所述第一图像数据集对该初始识别模型进行训练，训练完成后得到基于YOLOv4网络的成熟番茄果实串识别模型；