[发明专利]一种基于帧间关系的视频实例分割方法及系统

权利要求书

1.一种基于帧间关系的视频实例分割方法，其特征在于，包括：

利用已标注的数据集对Mask R-CNN网络和FlowNet网络进行端到端的训练，从而在训练完成之后得到目标Mask R-CNN网络和目标FlowNet网络；

依次获取待处理视频中的每一帧图像，并在获取到任意一帧视频帧I_i后判断其类型，若为关键帧，则利用所述目标Mask R-CNN网络对所述视频帧I_i进行实例分割，否则，获得与所述视频帧I_i属于同一分组的关键帧I_k，并利用预先构建的视频实例分割模型对所述视频帧I_i进行实例分割；

其中，每一个分组由一帧关键帧，以及该关键帧与下一关键帧之间的所有非关键帧组成；所述视频实例分割模型包括关键帧实例分割网络和非关键帧实例分割网络；所述关键帧实例分割网络为所述目标Mask R-CNN网络，所述关键帧实例分割网络用于提取关键帧的M层金字塔特征P₁～P_M后，根据所提取的特征对关键帧进行实例分割；所述非关键帧实例分割网络包括光流检测网络、特征传播网络以及分割网络；所述光流检测网络为所述目标FlowNet网络，用于计算关键帧与非关键帧之间的流场和尺度场；所述特征传播网络用于根据所述流场和所述尺度场将关键帧的金字塔特征P₁～P_M传播到非关键帧，从而得到非关键帧的特征P₁′～P_M′；所述分割网络用于根据非关键帧的特征P₁′～P_M′对非关键帧进行实例分割；

所述特征传播网络用于根据所述流场和所述尺度场将关键帧的金字塔特征P₁～P_M传播到非关键帧，从而得到非关键帧的特征P₁′～P_M′，包括：

对于关键帧的每一层金字塔特征P_m，根据所述流场将其中的每一个像素映射到非关键帧的特征P_m′中，并将所述特征P_m′与所述尺度场逐像素相乘，以对所述特征P_m′中的特征翘曲进行矫正；

其中，m表示金字塔特征中的层编号，1≤m≤M，特征翘曲为关键帧与非关键帧之间的流场。

2.如权利要求1所述的基于帧间关系的视频实例分割方法，其特征在于，所述分割网络为所述目标Mask R-CNN网络中的N_task网络。

3.如权利要求1或2所述的基于帧间关系的视频实例分割方法，其特征在于，利用已标注的数据集对Mask R-CNN网络和FlowNet网络进行端到端的训练，包括：

基于Mask R-CNN网络和FlowNet网络建立端到端的神经网络训练模型；所述神经网络训练模型中，Mask R-CNN网络的N_feat网络、FlowNet网络以及Mask R-CNN网络的N_task网络依次连接；Mask R-CNN网络的N_feat网络用于提取已标注的图像的金字塔特征；FlowNet网络用于融合计算N_feat网络所提取的特征流的权值；Mask R-CNN网络的N_task网络用于对FlowNet网络输出的图像生成候选区域，并从中筛选出感兴趣区域后进行感兴趣区域对齐，以及对所有对齐之后的感兴趣区域并行进行分类、回归和掩码分割，并对掩码分割结果进行边缘检测，最终得到分类损失L_cls、回归损失L_box、分割损失L_mask和边缘损失L_edge，加和求得网络损失L；

将已标注的数据集中，每一幅已标注的图像作为一个训练样本，利用该数据集对所述神经网络训练模型进行训练；对于每一个训练样本，获得对应的网络损失L后，将损失误差梯度反向传播以更新所述神经网络训练模型的参数；

训练完成后，将所得到的Mask R-CNN网络和FlowNet网络分别作为所述目标Mask R-CNN网络和所述目标FlowNet网络。