[发明专利]一种基于帧间关系的视频实例分割方法及系统

说明书

本发明公开了一种基于帧间关系的视频实例分割方法及系统，属于视频处理领域，包括：通过端到端的训练，得到目标Mask R‑CNN网络和目标FlowNet网络；依次获取待处理视频中的每一帧图像，并判断其类型，若为关键帧，则利用目标Mask R‑CNN网络进行实例分割，否则，获得对应的关键帧，并利用视频实例分割模型进行实例分割；视频实例分割模型，利用目标Mask R‑CNN网络对关键帧进行实例分割；视频实例分割模型，还利用目标FlowNet网络计算关键帧与非关键帧之间的流场和尺度场，并根据流场和尺度场将关键帧的金字塔特征传播到非关键帧，以及根据非关键帧的特征对非关键帧进行实例分割。本发明能够在完成高质量实例分割的同时提升视频实例分割的速度。

技术领域

本发明属于视频处理领域，更具体地，涉及一种基于帧间关系的视频实例分割方法及系统。

背景技术

实例分割(Instance segmentation)将场景图像分割成多个区域，每个区域对应一个对象，并且判断该区域的类别。实例分割是一种最接近人类真实视觉感受的计算机视觉任务，尤其在自动驾驶领域有着很高的应用价值，如通过实例分割检测车道线、行人、障碍物等，以指导自动驾驶。

2014年提出的SDS(同时检测与分割，Simultaneous Detection andSegmentation)算法可以说是最早的实例分割算法，也是现有实例分割算法的基础。该算法将检测与分割结合在一起，具体来说，由目标检测提供对象的粗略定位，然后通过语义分割对每个像素进行分类。虽然SDS算法的准确率与现有先进算法相比有一定的差距，但它为实例分割算法提供了思路，也为后续实例分割领域的发展奠定了基础。随后，在SDS的基础上提出的HyperColumns算法，通过融合低层特征和高层特征，对细节的处理更加精细，从而提升分类的精确度。同时，CFM(卷积特征掩码，Convolutional Feature Masking)算法首次将掩码(Mask)这一概念引入到实例分割中，也就是通过使用图像块掩盖住图像中的指定的区域，从而改变图像处理的范围。Mask R-CNN是现今使用最多，效率最高的实例分割算法，不仅能都实现优秀的实例分割结果，还具有很强的扩展性，可以进一步应用在人体特征点检测等方面。虽然该算法是实例分割领域的佼佼者。

基于单幅图像的目标检测和分割算法日渐成熟，但对于视频处理而言，现有算法大多将视频视为多幅单帧图像的组合，直接将单幅图像的实例分割算法应用于每幅单帧图像的分割当中。这种视频实例分割方法完全忽略了时间连续性和视频中前后帧之间的关系，将视频中的每一帧作为一个独立的个体，对每一帧图像都要重新处理，这导致了处理视频帧的计算量较大，处理耗时较长，无法满足视频处理的实时性要求。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于帧间关系的视频实例分割方法及系统，其目的在于，在完成高质量实例分割的同时提升视频实例分割的速度。

为实现上述目的，按照本发明的第一方面，提供了一种基于帧间关系的视频实例分割方法，包括：

利用已标注的数据集对Mask R-CNN网络和FlowNet网络进行端到端的训练，从而在训练完成之后得到目标Mask R-CNN网络和目标FlowNet网络；

依次获取待处理视频中的每一帧图像，并在获取到任意一帧视频帧I_i后判断其类型，若为关键帧，则利用目标Mask R-CNN网络对视频帧I_i进行实例分割，否则，获得与视频帧I_i属于同一分组的关键帧I_k，并利用预先构建的视频实例分割模型对视频帧I_i进行实例分割；