[发明专利]基于D2Det模型的果实识别方法及系统

权利要求书

1.基于D2Det模型的果实识别方法，其特征是，包括：

获取待识别图像；对所述待识别图像进行预处理；

对预处理后的待识别图像进行特征提取；基于提取的特征，得到感兴趣区域特征；

采用训练后的D2Det模型，对感兴趣区域特征进行目标定位和目标分类；

基于目标定位和目标分类结果，完成目标检测，在目标检测完成的基础上对待识别图像的果实进行分割，得到只包含果实的图像。

2.如权利要求1所述的基于D2Det模型的果实识别方法，其特征是，对预处理后的待识别图像进行特征提取；具体包括：

基于改进的MobileNet v2主干网络，对预处理后的待识别图像进行特征提取；所述改进的MobileNet v2主干网络，具体结构包括：依次连接的轻量级网络MobileNet v2和特征金字塔网络FPN。

3.如权利要求1所述的基于D2Det模型的果实识别方法，其特征是，基于提取的特征，得到感兴趣ROI区域；具体包括：

通过区域生成网络RPN对提取的特征进行处理，得到感兴趣ROI区域。

4.如权利要求1所述的基于D2Det模型的果实识别方法，其特征是，采用训练后的D2Det模型，对感兴趣ROI区域进行目标定位和目标分类；具体包括：

采用训练后的D2Det模型的回归分支，对感兴趣ROI区域进行目标定位；

采用训练后的D2Det模型的分类分支，对感兴趣ROI区域进行目标分类。

5.如权利要求4所述的基于D2Det模型的果实识别方法，其特征是，所述对感兴趣ROI区域进行目标定位；具体包括：

将感兴趣ROI区域，划分为k*k维的空间相邻的局部特征；

将局部特征与已标注目标框ground-truth重叠占比大于0.5的局部特征视为阳性样本，阳性样本即为正样本，正样本即为目标果实区域，将正样本到已标注目标框的偏移量视为有效偏移量，最后计算有效偏移量的平均值，根据有效偏移量的平均值，对每一个局部特征进行偏移，得到目标定位结果。

6.如权利要求4所述的基于D2Det模型的果实识别方法，其特征是，对感兴趣ROI区域进行目标分类；具体包括：

通过一个大小的RoI Align，将感兴趣区域特征图RoI feature分割成个单元；

通过全连接层来学习偏移，将感兴趣区域特征图RoI feature的每个单元按照目标区域框的长宽比例进行水平、竖直偏移，偏移是给特征图卷积核上的采样点增加偏移量，从而改变感受野的大小，使感受野成一个多边形；

将感兴趣ROI区域特征图和带偏移的采样点共同作为卷积层的输入；然后对卷积层的输出采用加权池化操作，给采样点分配权值；分配权值之后，通过哈达玛积处理，得到池化后的k*k大小的RoI feature；

对池化后的k*k大小的RoI feature，经过两层全连接层进行分类，得到目标分类结果。

7.如权利要求1所述的基于D2Det模型的果实识别方法，其特征是，基于目标定位和目标分类结果，对待识别图像的果实进行分割，得到只包含果实的图像；具体包括：

分割过程中基于检测框的像素进行分割，使用二值掩膜预测，对每一个像素进行正负样本的判断，正样本就是待分割的区域；

随后，连接两个反卷积层把输出分辨率放大到q倍，增加空间分辨率。

8.基于D2Det模型的果实识别系统，其特征是，包括：

获取模块，其被配置为：获取待识别图像；对所述待识别图像进行预处理；

特征提取模块，其被配置为：对预处理后的待识别图像进行特征提取；基于提取的特征，得到感兴趣区域特征；

目标定位和分类模块，其被配置为：采用训练后的D2Det模型，对感兴趣区域特征进行目标定位和目标分类；

图像分割模块，其被配置为：基于目标定位和目标分类结果，完成目标检测，在目标检测完成的基础上对待识别图像的果实进行分割，得到只包含果实的图像。