[发明专利]一种基于视觉语义分割的水果采摘预测方法

权利要求书

1.一种基于视觉语义分割的水果采摘预测方法，其特征在于，包括：

步骤S1：果实图像预处理：将图像读取出来，在训练阶段，对图像进行随机裁剪、翻转、移位来增强数据量，再将图像大小固定到256*128、512*216、1024*512三个尺寸，最后将图像缩放到256*128分辨率；

步骤S2：图像输入主干网络整理：将上述256*128分辨率的图像输入到HRNet+OCR主干网络，输出特征大小为（12,256,128）的特征图；

步骤S3：精确分割图像：利用基于卷积注意力机制和基于Transformer的注意力机制构成的分割网络对步骤S2的特征图进行分割，输出预测特征图，再将两个分支输出的预测特征图进行融合，经过一层卷积层、一层归一化和一层非线性激活层，最后通过一层卷积层和一个argmax函数输出精确分割预测图；

步骤S4：提取精确分割预测图果实区域的图块：基于果实分割图像掩码生成对应果实位置的前景矩形框，并保留框中的位置信息，根据框中的位置信息输出对应果实在原图中所在位置的图块；

步骤S5：识别：将图块输入水果识别模块，通过识别算法对果实的类别进行强分类，消除分割算法对果实类别的预测误差，基于上述果实所在位置的图块，将其统一到固定尺寸大小，输入到五层卷积层和池化层交替进行的识别网络中，再经过两层全连接层和softmax层得到果实的类别结果；

步骤S6：果实成熟度预测：基于上述得到的果实类别结果，经过两层全连接网络之后，利用softmax层输出果实成熟度预测；果实成熟度预测模块具有两层全连接层和softmax层。

2.根据权利要求1所述的基于视觉语义分割的水果采摘预测方法，其特征在于：所述基于注意力机制的分支，是将粗糙预测图输入后，会产生基于通道的注意力特征向量（12,1,1），之后将其与粗糙预测图进行点积可获得新的预测特征图；所述基于Transformer的注意力机制的分支，是将粗糙预测图输入后，先被分成16*16个（12,16,8）的矩阵块，接着展平为（16*16,16*8*12）的矩阵然后输入到Transformer注意力模块中，经过该模块后，将输出还原至与粗糙预测图同大小，也就是（12,256,128）。

3.根据权利要求1所述的基于视觉语义分割的水果采摘预测方法，其特征在于：所述的识别算法采用BRISK算法，包括以下步骤：

步骤S51：获取待处理果实图像的原始点云数据；

步骤S52：利用多种尺寸的体素网格对所述原始点云数据依次叠加进行空间划分，上一次空间划分形成的点云层作为下一次被划分的点云层，构建出由多点云层逐层叠加的拓扑结构；

步骤S53：基于第一点云深度学习网络与所述拓扑结构对所述原始点云数据进行特征提取，得到果实类别特征。

4.根据权利要求1所述的基于语义分割的水果采摘预测方法，其特征在于:所述步骤S6中：成熟度分为三类；第一类：果实成熟度小于30%，将果实成熟度赋值为“NotFruit”；第二类：果实成熟度为30%-70%,将果实成熟度赋值为“NotFruit”；第三类：果实成熟度大于70%，将果实成熟度赋值为“Fruit”；当不符合条件时，将果实成熟度赋值为空字符。

5.根据权利要求4所述的基于语义分割的水果采摘预测方法，其特征在于：基于所述成熟度分类，当果实成熟度为“Fruit”时，进入采摘工序，否则不进入。

6.根据权利要求1所述的基于语义分割的水果采摘预测方法，其特征在于：所述步骤S6中：所述水果识别模块与所述果实成熟度预测模块采用串行方式，只针对需要采摘的水果进行成熟度预测。

7.根据权利要求1所述的基于语义分割的水果采摘预测方法，其特征在于：所述分割网络采用分割精调模块输出精确分割预测图，所述精调模块包括基于卷积注意力机制和基于Transformer的注意力机制两个分支。