[发明专利]一种葡萄采摘机器人目标识别及果梗夹切点定位方法

说明书

本发明提供了一种葡萄采摘机器人目标识别及果梗夹切点定位方法包括以下步骤：建立自然场景下的葡萄串图像库；建立基于Mask‑R‑CNN网络的葡萄串识别模型；识别每个葡萄串的葡萄区域与果梗区域；判断是否葡萄串是否完整：果梗区域往下延伸垂直线段，如果垂直线段与某一识别的葡萄区域相交，则确定这是一串完整的葡萄串，可以进行采摘，反之则非完整，不进行采摘；采摘点定位：计算去除干扰后的果梗的质心点，通过果梗的质心点计算出果梗的采摘区域的中心坐标点，则该中心坐标点即为采摘点，输出采摘点定位结果到采摘机器人完成采摘动作。本发明能够有效识别葡萄串的完整性以及精确定位葡萄果梗中部的采摘点，能够实现高效率无损采摘，具有很好的实用性。

技术领域

本发明涉及机器人采摘技术领域，具体而言，涉及一种葡萄采摘机器人目标识别及果梗夹切点定位方法。

背景技术

采摘机器人做为农业智能化的关键一环，在葡萄采摘机器人进行采摘作业时，识别果梗、定位果梗采摘点是葡萄采摘作业中的重要一环。目前葡萄采摘机器人采摘主要通过具有切割装置的末端执行器抓住葡萄，切割葡萄果梗完成。采摘时需要考虑刀片空间大小以保护葡萄和上方枝干不破损，定位在葡萄果梗中部位置的采摘点才能做到无损采摘，所以采摘点定位的位置至关重要。在果实识别与采摘点定位方面，目前主要是用传统机器视觉或者深度神经网络方法。

经过申请人海量检索，发现现有技术中的采摘点识别方案如公开号为CN109711325A公开一种芒果采摘点识别方法，采用python语言运行改进的Mask-r-cnn深度神经网络进行对芒果识别，却采用Matlab语言区实现果梗分割和采摘点识别，且并未考虑果实等采摘机器人进行无损采摘需要采摘点的范围，且并未考虑采摘目标的完整性。有可能出现误识别时也采摘(误识别采摘即：把枝干等背景当芒果，其实枝干等背景下并未有芒果)现象；或如公开号N1088052924A公开一种百合花采摘点定位方法及系统，采用霍夫变换直线检测算法确定所述花柄区域中的直线段。然而霍夫直线检测结果不可控，有可能在果梗上部，有可能在果梗下部。采摘点定位结果严重受到果梗生长形态的影响。如果霍夫直线检测结果在果梗上部，剪切时会破坏枝干。霍夫直线检测结果在果梗下部，剪切时会破坏果实，并不能做到无损采摘。

在现实葡萄果园环境中，被遮挡的果梗屡见不鲜，由于葡萄采摘机器人工作时不仅需要快速高效的视觉技术，而且需要末端执行器抓握葡萄，切割葡萄果梗，若根据单一果实或果梗识别结果来进行采摘，易出现误切割等，那么会对葡萄果园带来大量的损失。

发明内容

本发明是为了解决葡萄采摘机器人在自然环境下对葡萄果梗、葡萄识别，对采摘目标(葡萄串)的完整性进行分析，并依此为依据判断是否满足切割条件，再定位出葡萄果梗中部的采摘点，实现高效率无损采摘的技术问题。

为了实现上述目的，本发明采用如下技术方案：

一种葡萄采摘机器人目标识别及果梗夹切点定位方法，包括以下步骤：

S1、采集葡萄串的图像，建立自然场景下的葡萄串图像库；(自然场景为果园)

S2、建立基于Mask-R-CNN网络的葡萄串识别模型；

S3、识别每个葡萄串的葡萄区域与果梗区域；

S4、判断是否葡萄串是否完整：果梗区域往下延伸垂直线段，如果垂直线段与某一识别的葡萄区域相交，则确定这是一串完整的葡萄串，可以进行采摘，反之则非完整，不进行采摘；

S5、采摘点定位：计算去除干扰后的果梗的质心点，通过果梗的质心点计算出果梗的采摘区域的中心坐标点，则该中心坐标点即为采摘点，输出采摘点定位结果到采摘机器人完成采摘动作。

所述的一种葡萄采摘机器人目标识别及果梗夹切点定位方法，可选的，所述步骤S1的具体步骤为：

S11、数据采集：采集不同光照、不同角度下的带有果梗的葡萄串图像；