[发明专利]基于RGB-D相机和视觉定位的水果定位方法、系统、设备及介质

权利要求书

1.基于RGB-D相机和视觉定位的水果定位方法，其特征在于，包括下述步骤：

构建目标视觉定位模型；所述目标视觉定位模型包括预训练参数加载模块、目标特征提取模块、池化模块、多尺度特征融合模块和目标定位预测模块；所述目标特征提取模块使用深度可分离卷积代替传统卷积，利用深度可分离卷积将传统卷积中的部分卷积分离成一个的深度卷积和一个逐点卷积，降低模型的参数量和计算量，提高提取水果果实特征时的速度；所述池化模块采用SPP模块对目标特征提取模块提取的特征进行池化处理，获得更多局部特征信息；所述多尺度特征融合模块中引入scSE注意力模块，所述scSE注意力模块通过全局平均池化排除空间依赖性，增强了对输入水果果实特征图的重要通道和空间特征的学习，提取更深刻的水果果实像素信息；

获取水果果园场景中处于成熟期的果实RGB图像和深度图像；对采集的果实RGB图像和深度图像进行预处理，获得初始数据集；对初始数据集中每个RGB图像上的果实用进行标注，获得xml格式的信息文件；将完成标注的初始数据集按照设定的比例分为训练集和验证集；

利用训练集中的RGB图像和标注数据对目标视觉定位模型进行训练；

利用训练好的目标视觉定位模型对水果果园图像的果实进行定位预测。

2.根据权利要求1所述基于RGB-D相机和视觉定位的水果定位方法，其特征在于，所述预训练参数加载模块用于导入预训练参数，对目标赋予一个初始权重值。

3.根据权利要求1所述基于RGB-D相机和视觉定位的水果定位方法，其特征在于，所述SPP模块分别使用多个不同大小的卷积核对前层特征进行最大池化处理。

4.根据权利要求1所述基于RGB-D相机和视觉定位的水果定位方法，其特征在于，所述获取水果果园场景中处于成熟期的果实RGB图像和深度图像，具体为：

在水果果实处于成熟期阶段时，分别选择晴天和阴天的白天时间；

采用RGB-D相机在距离水果果实0.5-2m之间采集RGB图像和深度图像；

在太阳直射光下和背光下的场景中都要采集RGB图像和深度图像。

5.根据权利要求1所述基于RGB-D相机和视觉定位的水果定位方法，其特征在于，所述对采集的果实RGB图像和深度图像进行预处理，获得初始数据集，具体为：

对采集的果实RGB图像进行预处理，去除模糊图像；

将采集的果实深度图像在Intel RealSense SDK包上通过空间边缘保留过滤器和孔填充过滤器进行优化处理。

6.根据权利要求1所述基于RGB-D相机和视觉定位的水果定位方法，其特征在于，所述利用训练集中的RGB图像和标注数据对目标视觉定位模型进行训练，具体包括：

利用模型加载模块导入预训练参数，对目标赋予一个初始权重值；

将RGB图像输入到目标特征提取模块，提取深层次的水果果实特征；

将特征提取模块操作后的特征图像依次进行池化操作、多尺度特征融合操作，获得水果果实在RGB图像中的像素坐标；

在目标视觉定位模型训练的过程中，每完成一轮训练，利用验证集中的RGB图像和标注数据对当前目标视觉定位模型进行验证，根据验证结果调整当前目标视觉定位模型的权重值；

设定最大迭代次数，当达到预设的最大迭代次数或者在验证集上错误率不再下降时终止训练，选取验证结果最优的目标视觉定位模型作为水果果实的目标视觉定位模型。