[发明专利]基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法

说明书

本发明涉及基于注意力机制和改进PV‑RCNN网络的枸杞枝条识别定位方法，与现有技术相比解决了由于枸杞枝条被遮挡、断点、重叠等原因致使二维图像难以精准识别的缺陷。本发明包括以下步骤：训练样本的收集和预处理；三维点云的体素化处理；构建枸杞枝条及其关键点检测网络；训练枸杞枝条及其关键点检测网络；待识别枸杞枝条图像的收集和预处理；枸杞枝条的识别和定位。本发明能够补充在体素化和稀疏3D卷积网络中进行卷积运算丢失的大量定位信息，同时依据注意力网络获得相关点对于目标检测的贡献程度和精修网络中特征增强来提高枸杞枝条和枝条末端关键点检测的精准性，实现了枸杞枝条的准确识别定位。

技术领域

本发明涉及枸杞采收技术领域，具体来说是基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法。

背景技术

随着枸杞种植面积不断扩大，枸杞的采摘成为制约枸杞产业持续发展的卡脖子问题。由于国内外市场并没有技术较成熟的采摘机械，所以枸杞的采收主要依靠于人工完成，但人工采收枸杞的效率仅为3-5kg/h，所需费用达到生产成本的50％以上。研制适应于我国国情的枸杞采收机械，对降低所需成本、提高农民收入、保障枸杞产业稳态持续发展具有重大意义。

各种枸杞采收机械均依赖于操作人员的主观判断操作，利用枸杞采收夹持装置夹住枸杞枝条，对枸杞枝条进行摆动或梳刷，效率较为低下。而枸杞果实的数量比较多、体积较小，采摘时存在树叶和枝条对果实的遮挡，致使枸杞枝条的准确识别与定位在二维图像下难以精准识别。

若能利用基于三维点云数据(三维点云数据可以获得目标的空间维度、分布特征以及三维形态等具体空间信息)的计算机识别技术准确地识别和判断枸杞枝条的位置及其枝条末端关键点的坐标，根据枝条的位置和走势及其枝条末端关键点坐标利用机械臂将其定点抓起进行枸杞高效率采摘，不仅可以提高枸杞采摘效率、采净率而且能够最大程度地降低对枸杞的损伤以及对树的保护而不被损坏。然而，目前对枸杞枝条的检测仍以二维图像为主，但自然环境复杂以及存在遮挡、断点、重叠等问题，故很难利用二维图像直接判断枝条的位置。

因此，如何提高枸杞枝条检测的精准性已成为当前亟待解决的关键技术问题。

发明内容

本发明的目的是为了解决现有技术中由于枸杞枝条被遮挡、断点、重叠等原因致使二维图像难以精准识别的缺陷，提供一种基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法，包括以下步骤：

训练样本的收集和预处理：通过双目相机获取枸杞树不同角度的20张图像，构建三维模型获得三维点云，对三维点云进行标注，对枝条末端关键点建立半径为r的球体作标注；

三维点云的体素化处理：将三维点云经过VolexNet网络进行体素化处理，形成多个栅格；其中，点云输入区域的大小为(L,W,H)，每个栅格的大小为(l,w,h)，共有栅格个数为(L/l,W/w,H/h)，每个栅格中点云数量设置为8；

构建枸杞枝条及其关键点检测网络：基于PV-RCNN网络构建枸杞枝条及其关键点检测网络，并在枸杞枝条及其关键点检测网络的PV-RCNN内融合注意力机制获得枸杞枝条及关键点目标定位的精修网络；

训练枸杞枝条及其关键点检测网络：利用训练样本对枸杞枝条以其关键点检测网络进行训练；

待识别枸杞枝条图像的收集和预处理：获取双目相机拍摄的待识别枸杞树不同角度的20张图像，利用已构建的三维模型获得待识别的三维点云，并对待识别的三维点云进行体素化处理；

枸杞枝条的识别和定位：将处理后待识别的三维点云数据输入训练后的枸杞枝条及其关键点检测网络，获得枸杞枝条和枝条末端关键点位置，实现枸杞枝条的识别与定位。