[发明专利]基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法

权利要求书

1.一种基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法，其特征在于，包括以下步骤：

11)训练样本的收集和预处理：通过双目相机获取枸杞树不同角度的20张图像，构建三维模型获得三维点云，对三维点云进行标注，对枝条末端关键点建立半径为r的球体作标注；

12)三维点云的体素化处理：将三维点云经过VolexNet网络进行体素化处理，形成多个栅格；其中，点云输入区域的大小为(L，W，H)，每个栅格的大小为(l，w，h)，共有栅格个数为(L/l，W/w，H/h)，每个栅格中点云数量设置为8；

13)构建枸杞枝条及其关键点检测网络：基于PV-RCNN网络构建枸杞枝条及其关键点检测网络，并在枸杞枝条及其关键点检测网络的PV-RCNN内融合注意力机制获得枸杞枝条及关键点目标定位的精修网络；

14)训练枸杞枝条及其关键点检测网络：利用训练样本对枸杞枝条以其关键点检测网络进行训练；

15)待识别枸杞枝条图像的收集和预处理：获取双目相机拍摄的待识别枸杞树不同角度的20张图像，利用已构建的三维模型获得待识别的三维点云，并对待识别的三维点云进行体素化处理；

16)枸杞枝条的识别和定位：将处理后待识别的三维点云数据输入训练后的枸杞枝条及其关键点检测网络，获得枸杞枝条和枝条末端关键点位置，实现枸杞枝条的识别与定位。

2.根据权利要求1所述的基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法，其特征在于，所述构建枸杞枝条及其关键点检测网络包括以下步骤：

21)基于PV-RCNN网络构建枸杞枝条及其关键点检测网络，设定其输入层为：枸杞枝条三维点云进行体素化后的诸多栅格和枝条末端关键点半径为r的球体；

22)设定其特征提取层为：利用稀疏3D卷积网络对输入栅格及其关键点半径为r的球体进行多尺度逐层特征提取；对利用FPS选取的相关点通过基于注意力机制的PointNet网络进行点云的特征提取；

23)在枸杞枝条及其关键点检测网络PV-RCNN内构建融合注意力机制的精修网络：基于注意力机制构建枸杞枝条及其关键点目标候选框的精准定位网络，作为目标回归精修网络；

24)设定基于改进PV-RCNN网络枸杞枝条及其关键点检测网络的输出层为枸杞枝条位置及其枝条末端关键点坐标。

3.根据权利要求1所述的基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法，其特征在于，所述训练枸杞枝条及其关键点检测网络包括以下步骤：

31)将诸多栅格和关键点半径为r的球体输入3D稀疏卷积神经网络中进行逐层特征提取；

稀疏卷积神经网络由四层C1、C2、C3、C4，3×3×3的3D稀疏卷积组成，逐层进行特征提取；

将C4特征图转换成俯视特征图，俯视特征图的大小为

根据特征图大小由RPN网络生成个anchorboxes，角度分别为0度、45度、135度，通过NMS非极大值抑制操作生成3Dproposa]，最终获得3Dproposal对应的类别和坐标位置；

32)利用FPS选取的k个相关点并通过基于注意力机制的PointNet网络进行点云的特征提取；

33)目标回归精修网络的训练：将3Dproposals对应的俯视图特征和k个相关点权重特征F′_i进行级联；再利用Fusion模型对级联后的结果和3Dproposals卷积产生的注意力特征相乘进行融合；最后通过多层感知机获得精修的边界框3Dbox精确位置；

34)在训练过程中进行损失函数的训练：损失函数包括RPN的多任务目标损失函数L_RPN和回归框精修损失函数L_REFINE。