[发明专利]一种基于帧间关系的视频实例分割方法及系统

摘要

本发明公开了一种基于帧间关系的视频实例分割方法及系统，属于视频处理领域，包括：通过端到端的训练，得到目标Mask R‑CNN网络和目标FlowNet网络；依次获取待处理视频中的每一帧图像，并判断其类型，若为关键帧，则利用目标Mask R‑CNN网络进行实例分割，否则，获得对应的关键帧，并利用视频实例分割模型进行实例分割；视频实例分割模型，利用目标Mask R‑CNN网络对关键帧进行实例分割；视频实例分割模型，还利用目标FlowNet网络计算关键帧与非关键帧之间的流场和尺度场，并根据流场和尺度场将关键帧的金字塔特征传播到非关键帧，以及根据非关键帧的特征对非关键帧进行实例分割。本发明能够在完成高质量实例分割的同时提升视频实例分割的速度。

主权项

1.一种基于帧间关系的视频实例分割方法，其特征在于，包括：利用已标注的数据集对Mask R‑CNN网络和FlowNet网络进行端到端的训练，从而在训练完成之后得到目标Mask R‑CNN网络和目标FlowNet网络；依次获取待处理视频中的每一帧图像，并在获取到任意一帧视频帧I_i后判断其类型，若为关键帧，则利用所述目标Mask R‑CNN网络对所述视频帧I_i进行实例分割，否则，获得与所述视频帧I_i属于同一分组的关键帧I_k，并利用预先构建的视频实例分割模型对所述视频帧I_i进行实例分割；其中，每一个分组由一帧关键帧，以及该关键帧与下一关键帧之间的所有非关键帧组成；所述视频实例分割模型包括关键帧实例分割网络和非关键帧实例分割网络；所述关键帧实例分割网络为所述目标Mask R‑CNN网络，所述关键帧实例分割网络用于提取关键帧的M层金字塔特征P₁～P_M后，根据所提取的特征对关键帧进行实例分割；所述非关键帧实例分割网络包括光流检测网络、特征传播网络以及分割网络；所述光流检测网络为所述目标FlowNet网络，用于计算关键帧与非关键帧之间的流场和尺度场；所述特征传播网络用于根据所述流场和所述尺度场将关键帧的金字塔特征P₁～P_M传播到非关键帧，从而得到非关键帧的特征P₁′～P_M′；所述分割网络用于根据非关键帧的特征P₁′～P_M′对非关键帧进行实例分割。