[发明专利]基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法

权利要求书

1.基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法，其特征在于，包括以下步骤：

S1：建立自然场景下的群养粘连猪视频和图像数据集；

S2：构建基于Mask R-CNN的分割网络，包括基础骨干网络、区域生成网络RPN和三分支网络；所述RPN具体表示为：Region Proposal Network；

S3：通过基础骨干网络对图像数据集进行多尺度特征的提取，得到对应不同尺寸的特征映射；

S4：基于特征映射，RPN生成感兴趣区域RoIs，并对RoIs进行目标分类以及回归，利用Soft-NMS去除冗余的检测框，获取最好的目标RoIs；

S5：采用RoIAlign网络对每个RoIs进行双线性插值操作，将每个RoIs处理为相同大小；具体为：遍历每一个候选区域RoI，保持浮点数边界不做量化；将候选区域分割成K×K个单元，每个单元的边界也不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作；ROIAlign的反向传播公式为：

其中，x_i代表池化前特征图上的像素点；y_rj代表池化后的第r个RoIs的第j个点；i*(r,j)代表一个浮点数的坐标位置，即前向传播时计算出来的采样点；d(.)表示两点之间的距离，Δh和Δw表示x_i与x_i*(r,j)横纵坐标的差值；

S6：利用三分支网络对相同大小的RoIs进行检测、分类和分割操作，实现对群养粘连猪实例的分割；具体为：在三分支网络中对于每个相同大小的RoIs，采用三种不同全连接网络实现检测、分类和分割操作，三分支网络的联合训练函数为：

L_total＝L_cls+L_box+L_mask

其中，L_cls是分类损失函数，L_box是边框检测损失函数，L_mask是分割掩码损失；其中，分类损失函数L_cls为所有类别的交叉熵损失，具体表达式为：

其中，X_label代表预测类别的得分值，label表示类别索引，N表示所有类别；其中，边框检测损失函数L_box采用平滑L₁范式，具体表达式为：

其中，T_pred表示网络预测的掩膜，T_gt表示标注的掩膜；

分割掩码损失L_mask采用对应类别的掩码类损失，具体表达式为：

其中，y_ij是点坐标(i,j)在m×m区域中的真实类别，是点坐标(i,j)预测为k类别的值。

2.根据权利要求1所述的基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法，其特征在于，所述步骤S1具体为：

S11：采集自然场景下的猪场数据，包括俯视和正面视频与图像数据，所述的图像数据包括猪体光照不均、严重遮挡和重叠三种情况下的数据；

S12：在视频与图像数据中选择群养猪站立姿态中的每个猪个体，采用Labelme软件进行实例分割标注，得到标注数据集；

S13：根据标注数据集，构建训练集、验证集和测试集；

S14：对训练集中的图像进行亮度调节、水平翻转、垂直翻转和对比度增强四种操作扩充数据集。

3.根据权利要求2所述的基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法，其特征在于，所述步骤S2具体为：

S21：利用残差网络ResNet101和多尺度特征网络FPN，构建基础骨干网络，用于图像尺度特征的提取；

S22：构建基于区域建议RPN网络，用于RoIs的分类与回归，利用Soft-NMS去除冗余的检测框,获取最好的目标RoIs；

S23：构建三分支网络，用于RoIs的检测、分类和分割操作。