[发明专利]一种基于深度学习的视频物体分割方法及系统

说明书

本发明提供了一种基于深度学习的交互式视频目标分割方法和系统，一种基于深度学习的视频物体分割方法，包括：S1：待处理视频以帧为分析单位，用户对初始帧中感兴趣的物体进行画框标注得到目标物体区域；S2：根据初始标注信息，利用交互式图像物体分割算法将初始帧图像上的目标物体区域进行分割，再利用基于深度学习的半监督视频物体分割算法逐帧传递，得到所有帧图像的目标物体区域为视频物体分割结果。在Davis视频数据集上取得了不错的分割结果。

方法领域

本发明属于视频物体分割方法领域，具体涉及一种基于深度学习的视频物体分割方法及系统。

背景方法

视觉感知是人类获取信息的主要途径，人们通过快速分析从视觉系统获取到的大量图像，从中抽取主要信息并指导人们进行分析判断。近年来，随着计算机方法的发展和应用的多样化，人们对图像尤其是连续的视频图像序列的需求越来越大，这也激发了人们对视频图像处理方法不断研究的兴趣。

视频分割是视频处理研究的基础和重点，它将视频序列图像按一定的标准分割成不同的区域，并从中提取出人们感兴趣的或有一定意义的实体，这些实体通常被称为视频对象(Video Object)。视频序列中运动物体的分割主要是提取出场景中的运动实体。这一过程借助模式识别、计算机视觉、图像处理等相关领域的知识使底层的视频处理过渡到更高层次的视频分析和理解，它在军事方法、机器人视觉导航、模式识别、智能监控、医疗诊断等领域得到广泛应用。特别是在新一代视频编码标准提出和多媒体应用多样化后，序列图像中运动物体的分割在视频应用中更普遍，由此也引起了人们对这一研究领域的更多关注。

目前，传统的视频分割算法有高斯背景模型，贝叶斯统计模型，时空域的马尔可夫随机场模型等。对视频序列建立合适的数学模型，可以为运动物体的分割提供良好的理论基础，从而得到符合要求的语义物体。但由于应用环境的复杂多样和应用要求的变化，在视频序列中分割运动对象仍是一项极具挑战性的任务，也还存在一些亟待解决的难点。视频场景中，光照、亮度等变化对现有的运动物体分割算法影响较大，在背景复杂、摄像机旋转、物体运动形态变换等情况下，分割效果也不尽理想。同时，场景中物体的投射阴影也极大地影响了运动物体分割的精度。

深度学习在多个领域里都取得了不错的成绩。卷积神经网络在物体分类上的应用取得了巨大的成功。目前，CV学术界在视频物体分割方面的研究主要分为两个方向：(1)半监督视频物体分割(2)无监督视频物体分割。

其中，学术界更倾向于研究半监督视频物体分割，因为这是视频物体分割的最基础算法，也是比较纯粹的一个研究点。在半监督视频物体分割中，给定用户感兴趣物体在视频第一帧图片上的分割区域，算法来获取在后续帧上的物体分割区域。半监督视频物体分割由于其需要第一帧物体区域的ground-truth。无监督视频物体分割(亦称作视频显著性检测)寻找并分割视频中的主要目标。这意味着算法需要自行决定哪个物体才是主要的。

发明内容

针对现有方法存在的不足，本发明的目的在于，提供一种基于深度学习的视频物体分割方法及系统，解决现有方法中存在的如下问题：对于半监督视频物体分割，需要第一帧物体区域的ground-truth，通常是由人工进行第一帧的标注，然而人工标注费时费力，且无法得到统一。在无监督视频物体分割中，物体显著性是主观概念，不同人之间存在一定的歧义。

为解决上述问题，本发明给出的技术方案为：

一种基于深度学习的视频物体分割方法，包括：

S1：待处理视频以帧为分析单位，用户对初始帧中感兴趣的物体进行画框标注得到目标物体区域为初始标注信息；

S2：根据初始标注信息，利用交互式图像物体分割算法将初始帧图像上的目标物体区域进行分割，再利用基于深度学习的半监督视频物体分割算法逐帧传递，得到所有帧图像的目标物体区域为视频物体分割结果。