[发明专利]一种基于深度神经网络的肉兔料盒中余料量的估算方法

权利要求书

1.一种基于深度神经网络的肉兔料盒中余料量估算方法；其特征在于，所述余料量估算是基于Mask RCNN框架和PointRend网络头算法的针对图像边缘细分的饲料实例分割，提取图像数值特征后输入BP神经网络训练，从而估算余料量，步骤如下：

步骤1.获取存放于料盒中的不同质量的肉兔饲料的图像样本集，对获取到的样本图像进行预处理，并通过标注图像中饲料的方式制作饲料实例数据集；

步骤2.构建基于Mask RCNN框架和PointRend网络头算法的饲料图像分割网络，所述的饲料图像分割网络包括主干网络ResNet50、特征金字塔网络FPN、区域建议网络RPN、感兴趣区域匹配网络RoIAlign和包含PointRend网络头的多分支预测网络；

步骤3.实地采集存放于料盒中的不同质量的肉兔饲料图像，以及对应图像的饲料质量。使用训练好的Mask RCNN+PointRend饲料图像分割网络对采集到的图像进行分割，将饲料图像从图像背景中分割出来，获得单一背景下的饲料掩膜图像；

步骤4.采用Opencv图像处理技术提取饲料掩膜中的图像特征，包括料盒进料口处的饲料掩膜面积、饲料掩膜的长宽；料盒采食口处的饲料掩膜面积、饲料掩膜长宽；

步骤5.构建BP神经网络，以取得的饲料掩膜面积、饲料掩膜长宽所构建的训练集作为输入，饲料的质量作为输出，采用反向传播方法训练并优化BP神经网络结构，根据输入输出之间的拟合关系和训练误差不断调整包括训练算法、隐含层神经元数量和隐含层层数的网络结构参数，网络筛选条件为预测余料量与真实余料量之间拟合程度最高、训练误差最小；

步骤6.实地采集存放与料盒中的不同质量的肉兔饲料图像，使用训练好的饲料图像分割网络对采集到的图像进行分割，获取单一背景下的饲料掩膜图像；使用Opencv图像处理技术提取饲料掩膜的图像特征；使用训练好的BP神经网络对提取到的图像特征进行预测，得到余料量。

2.根据权利要求1所述一种基于深度神经网络的肉兔料盒中余料量估算方法；其特征在于，所述步骤1中获取存放于料盒中的不同质量的肉兔饲料的图像样本集，具体操作是摄像头置于料盒进料口和采食口正上方，向下俯拍采集包含饲料的料盒图像P₁，进行图像预处理，并制作COCO数据集格式的饲料图像数据集；所述图像预处理和数据集制作步骤包括：

(1)将图像裁剪至只保留饲料区域的，尺寸为1024×1024像素饲料图像；

(2)对图像进行旋转、高斯降噪、镜像等处理，扩充图像数量；

(3)使用Labelme软件标注图像，将进料口和采食口的肉兔颗粒饲料分别标注为不同的标签；此外，对于可能存在的粉末饲料、兔粪和其他杂物也予以标注。

3.根据权利要求1所述一种基于深度神经网络的肉兔料盒中余料量估算方法；其特征在于，所述步骤3的Mask RCNN+PointRend饲料图像分割网络的训练过程具体包括：

(1)将图像输入到主干网络ResNet50中，图像被分为5个阶段进行卷积，得到尺寸逐级递减的5层特征图，尺寸较小的四层特征图被输入FPN中横向连接，经卷积后与上采样的特征图进行加和操作；

(2)通过FPN得到的特征图输入RPN，RPN对图像生成尽可能覆盖图像的大量的锚，并对判断锚的类别，锚的类别分为前景和背景，前景类别的锚表示其中可能存在分割的目标。此外，对于前景的锚，RPN通过回归微调锚的中心坐标值、宽和高，筛选出感兴趣区域(ROI)；

(3)通过RPN得到的ROI和特征图被输入RoIAlign，RoIAlign利用双线性插值法获得坐标为浮点数的像素点上的像素值，然后对每个单元格内的采样点进行最大池化，得到调整后的目标区域特征图像；

(4)将调整后的目标区域图像输入全连接层和PointRend网络层，分别对饲料进行目标识别和实例分割。

4.根据权利要求1所述一种基于深度神经网络的肉兔料盒中余料量估算方法；其特征在于，所述步骤4中采用Opencv图像处理技术的轮廓细分步骤如下：

4.1，通过点细分模块，基于随机抽样的非迭代策略，在抽取kN个点后筛选其中前N个最可能落在掩膜边界处的点，通过双线性插值算法，特征图被上采样至更高分辨率的特征图；

4.2，通过点特征提取模块，对每个采样点从特征图上提取的特征向量，将低层特征和高层特征进行网络的粗略预测，在选定的点上构造逐点特征；

4.3通过点分割预测模块，使用多层感知机(MLP)对每个选中的点进行分类预测；

4.4不断重复上述过程，直到通过上采样将目标分辨率提升至期望值，如果期望空间分辨率为R×R，初始空间分辨率为R₀×R₀，预测的点的数量为N_p，候选点数量为N，则它们的关系如下：

(5)所述损失函数包括分类损失函数、回归损失函数和分割损失函数；当总损失小于设定的损失阈值时，训练完成。