[发明专利]银杏花穗定向方法及系统

说明书

一种银杏花穗定向方法，首先采集银杏花穗的可见光图片和深度图像，并识别出花穗目标，并获得花穗目标中心世界坐标；然后：1)求取树枝方向向量；2)获取花穗目标中心点向附近树枝垂直投影所得垂足的世界坐标，从而获得花穗方向向量；3)通过花穗方向向量与树枝方向向量，判定花穗目标与树枝目标的相对位置关系；4)计算出花穗目标方向相对于基面α的角度，判断花穗在正交平面γ的上方还是下方。一种银杏花穗定向系统，包括：关键树枝方向向量的求取模块、夹角θ和夹角θ方向的求取模块。本发明进行花穗的定向研究，对关键树枝进行三维空间的数学建模，实现了对花穗的定向，可以指导采摘机构是否绕过树枝采摘以及给出采摘角度。

技术领域

本技术方案属于智能化林果采摘技术领域，具体是一种银杏花穗定向方法及系统。

背景技术

现有技术中，林果自动化采摘首先对林果进行识别，然后控制机械手进行采摘。林果识别技术较为成熟，例如，采摘机器人视觉系统的研究于上世纪始80年代，并伴随着图像处理技术与人工智能深度学习理论的发展而不断进步其中果实目标的定位检测与分类识别的精度是至关重要的环节。深度学习在林果识别中应用较多，例如在对苹果识别的研究中，张世福通过MobileNetV1网络和FPN网络提出了改进的SSD算法的苹果识别算法，AP值达到0.925]；赵德安等人利用改进的YOLOv3网络对复杂环境下进行苹果果实定位，mAP值87.71％，准确率为97％，召回率为90％，IOU为83.31％。田玉宇运用基于优化的Mask R-CNN识别算法，利用深度图像中的深度信息绘制等深图，将梯度向量从三维向二维投影获得向量聚集区域，从而确定圆心，解决了定位难题，该模型识别苹果的平均准确率为97.31％，召回率为95.70％……。在对柑橘的识别中，汤林越采用阈值分割方法，采用形态学对二值分割图像进行后处理，使用最小外接矩形检测出柑橘所在区域，选择Faster-RCNN算法，最终平均检测精度为83.24％。熊龙烨采用Darknet53为特征提取网络的YOLOv3模型，柑橘的平均识别准确率为86.42％，检测速度为30.23fps，利用RGB-D相机对柑橘进行三维定位，验证是否满足采摘需求。张璐采用基于YOLOv2网络和U型全卷积网络的目标分割原理，自然环境下的柑橘果实进行分割模块，通过Hough变换圆拟合出真实柑橘轮廓，该模型识别的准确率为86.50％……。可见，利用深度学习网络对林果进行采摘这一机器视觉方法正在向着识别精度和识别速度不断提升的方向发展。

因为银杏树花期较短，花穗有成熟到过熟只有几天，可以采用识别效率更高的SSD目标检测框架。

银杏花穗的定向研究是银杏花穗采摘环节的关键技术，是能否实现银杏花穗采摘的重要环节。

银杏花穗从绕树枝生长的花梗中长出来，成熟的花穗体积小、长度短、重量轻，不会像苹果、柑橘等果实成熟后在重力因素下而方向大多向下，也不会像槐树花穗因为花穗很长而垂下，成熟的银杏花穗方向呈现多样性。

机械采摘时候，通过图像识别技术，智能化采摘机械识别花穗图像，并控制采摘机构对一个花梗长出的花穗簇进行包覆后，将花梗上的一簇花穗采摘下来。如图1(a)所示，采摘机构在树枝左侧采摘，当花穗出现在树枝右侧时，采摘机构无法实现隔着树枝对另一侧的花穗簇进行包覆，无法实现花穗采摘。因此，如果不了对花穗的定向，严重影响银杏花穗采摘的自动化和机器化进程。

花穗定向的研究是采摘机构能实现采摘的关键技术。

发明内容

为了解决上述技术问题，本发明创造提出一种银杏花穗的定向方法，用来指导采摘机构是否绕过树枝以及给定绕转角度进行采摘。

本技术方案具体为：一种银杏花穗定向方法，首先采集银杏花穗的可见光图片和深度图像，并识别出花穗目标，并获得花穗目标中心世界坐标；然后进行如下步骤的处理：

1)求取树枝方向向量；

2)获取花穗目标中心点向附近树枝垂直投影所得垂足的世界坐标，从而获得花穗方向向量；