[发明专利]基于深度学习的无监督视频分割方法

说明书

本发明提供了一种基于深度学习的无监督视频分割方法，包括：建立编码解码深度神经网络，编码解码深度神经网络包括：静态图像分割流网络、帧间信息分割流网络以及融合网络；静态图像分割流网络用于对当前视频帧进行前景背景分割处理，帧间信息分割流网络用于对当前视频帧和下一视频帧之间的光流场信息进行运动物体的前景背景分割；将静态图像分割流网络和帧间信息分割流网络输出的分割图像通过融合网络进行融合后，得到视频分割结果。本发明的静态图像分割流网络用于高质量的帧内分割，帧间信息分割流网络用于高质量的光流场信息分割，两路输出通过最后的融合操作得到提升后的分割结果，从而可以根据有效的双路输出和融合操作得到较好的分割结果。

技术领域

本发明涉及视频处理技术领域，具体地，涉及基于深度学习的无监督视频分割方法。

背景技术

视频分割指的是对视频每一帧中的物体进行前景背景分割得到二值图的过程，其难点在于既要保证空间域(帧内)分割的稠密性，也要同时保证时间域(帧间信息)分割的连续性。高质量的视频分割是视频编辑、视频物体识别、视频语义分析的基础，因而具有非常重要的意义。

现有的视频分割方法可根据其原理大致分为以下三类：

1)基于无监督的传统视频分割方法

该类方法不需要人工参与标注关键帧如(第一帧)信息，一般步骤是图像分割加上帧间相似块匹配，自动分割给定视频。如A.aktor and M.Irani等人在2014年BMVC发表的“Video segmentation by non-local consensus voting”一文中对每帧处理得到一些可能包含物体的分割(object proposal)，然后基于这些分割进行帧间相似度检测，筛选相似度最高的分割作为分割结果。该类方法的优点是不需要人工干预，但需要计算大量的分割中间形式如超像素点(superpixels)等，消耗大量的时间和存储空间。

2)基于半监督的传统视频分割方法

该类方法一般需要人工参与标注关键帧(如第一帧或前几帧)信息，然后将这些标注好的分割信息通过帧间传递的方式传给后续所有帧。如Y.-H.Tsai,M.-H.Yang和M.J.Black等人在2016年CVPR发表的“Video segmentation via object flow”一文中提出使用全局图的方法将所有帧放到一个图中去，图的边代表帧间的相似度，最终通过求解图的分割将标记好的第一帧传给后续的帧。该方法是传统方法中准确率最高的方法，因为它在优化过程中考虑了每一帧的信息，但由于全局图求解的难度，计算分割的时间大大增加。这也是该类方法的共性—分割准确率高但同时计算复杂度也很高。

3)基于深度学习的方法

随着深度学习的发展，深度神经网络在图像分类、分割、识别等领域都取得了比较好的结果，但在视频领域受限于时间域较高的冗余度它还没有完全发挥强大的作用。S.Caelles,K.Maninis,J.Pont-Tuset,L.Leal-Taixe,D.Cremers,and L.Van Gool等人于2017年CVPR发表的“One-shot video object segmentation”一文中提出视频分割仅需要对视频每帧进行单帧分割，不需要依赖帧间信息。他们认为帧间信息是冗余的，没有必要的，而且很多情况下没有准确的帧间信息可以作为参考，因而他们给出的方案是训练一个强图像分割网络，然后在分割给定视频时，对第一帧或前面若干帧进行准确标注，用这些帧去微调(finetune)大网络，最后用这个网络去分割该视频的其他帧。该方法有过拟合的可能性，且不能适用于大规模的视频分割情景。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的无监督视频分割方法。

根据本发明提供的基于深度学习的无监督视频分割方法，包括：