[发明专利]基于RGB-D相机和视觉定位的水果定位方法、系统、设备及介质

说明书

本发明公开了一种基于RGB‑D相机和视觉定位的水果定位方法、系统、设备及介质，方法包括：构建目标视觉定位模型；所述目标视觉定位模型包括预训练参数加载模块、目标特征提取模块、池化模块、多尺度特征融合模块和目标定位预测模块；获取水果果园场景中处于成熟期的果实RGB图像和深度图像；对采集的果实RGB图像和深度图像进行预处理，获得初始数据集；对初始数据集中每个RGB图像上的果实用进行标注；利用标注数据训练集中的RGB图像和标注数据对目标视觉定位模型进行训练；利用训练好的目标视觉定位模型对水果果园图像的果实进行定位预测。本发明基于RGB‑D相机和计算机视觉技术获取水果果实的三维坐标信息，对自动采摘机器人的发展具有重要意义。

技术领域

本发明属于计算机视觉的技术领域，具体涉及一种基于RGB-D相机和视觉定位的水果定位方法、系统、设备及介质。

背景技术

当前水果果实定位方法主要使用结构光结合HIS颜色阈值分割、双目立体视觉、提取形态学特征等方法完成果实的定位，但这种方法容易受光照影响、拟合精度和对复杂场景的处理能力有限，在果实排列密集、形状较为特殊的果实中难以起到良好的定位效果。因此，研究基于RGB-D相机和计算机视觉定位技术对果园水果果实进行定位的方法，获取水果果实的三维坐标信息，对自动采摘机器人的发展具有重要意义。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供了一种基于RGB-D相机和视觉定位的水果定位方法、系统、设备及介质，其可以对果园水果果实进行精准定位，提高水果采摘机器人的自动化水平，在不同光照和遮挡条件下，可实现不同品种水果果实的快速定位，获得水果果实的三维坐标信息，为水果采摘机器人提供三维空间坐标信息。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种基于RGB-D相机和视觉定位的水果定位方法，包括下述步骤：

构建目标视觉定位模型；所述目标视觉定位模型包括预训练参数加载模块、目标特征提取模块、池化模块、多尺度特征融合模块和目标定位预测模块；所述目标特征提取模块使用深度可分离卷积代替传统卷积，利用深度可分离卷积将传统卷积中的部分卷积分离成一个的深度卷积和一个逐点卷积，降低模型的参数量和计算量，提高提取水果果实特征时的速度；所述池化模块采用SPP模块对目标特征提取模块提取的特征进行池化处理，获得更多局部特征信息；所述多尺度特征融合模块中引入scSE注意力模块，所述scSE注意力模块通过全局平均池化排除空间依赖性，增强了对输入水果果实特征图的重要通道和空间特征的学习，提取更深刻的水果果实像素信息；

获取水果果园场景中处于成熟期的果实RGB图像和深度图像；对采集的果实RGB图像和深度图像进行预处理，获得初始数据集；对初始数据集中每个RGB图像上的果实用进行标注，获得xml格式的信息文件；将完成标注的初始数据集按照设定的比例分为训练集和验证集；

利用训练集中的RGB图像和标注数据对目标视觉定位模型进行训练；

利用训练好的目标视觉定位模型对水果果园图像的果实进行定位预测。

作为优选的技术方案，所述预训练参数加载模块用于导入预训练参数，对目标赋予一个初始权重值。

作为优选的技术方案，所述SPP模块分别使用多个不同大小的卷积核对前层特征进行最大池化处理。

作为优选的技术方案，所述获取水果果园场景中处于成熟期的果实RGB图像和深度图像，具体为：

在水果果实处于成熟期阶段时，分别选择晴天和阴天的白天时间；

采用RGB-D相机在距离水果果实0.5-2m之间采集RGB图像和深度图像；

在太阳直射光下和背光下的场景中都要采集RGB图像和深度图像。