[发明专利]基于吸收马尔科夫链和骨架映射网络的视频分割方法及装置

说明书

本发明公开了基于吸收马尔科夫链和骨架映射网络的视频分割方法及装置，方法包括下述步骤：提取目标的感兴趣区域并对该区域进行超像素分割；根据当前帧、第一帧、上一帧的超像素建立吸收马尔科夫链，初步判断当前帧超像素的标签；提出长期、短期时空线索，优化超像素标签；根据超像素标签，获取表达目标形态的前景骨架和表达干扰物体信息的背景估计；构造骨架映射网络，将前景骨架、背景骨架和当前帧图像，作为骨架映射网络的输入，输出目标的最终分割结果。本发明可以较好地分割出复杂场景下目标的边缘轮廓，应对视频分割中的剧烈形变，相似背景等挑战，且不需要长时间训练神经网络，对计算机硬件的需求较低。

技术领域

本发明属于计算机视觉的技术领域，具体涉及一种基于吸收马尔科夫链和骨架映射网络的视频分割方法及装置。

背景技术

视频分割是指在视频序列中，将不停运动的前景目标物体与背景区域分离。视频分割为识别视频中目标物体和解析视频内容提供基础，它是视频语义解析、视觉导航等研究的关键步骤，在人工智能、视觉感知等领域具有广泛应用。当前，虽然有很多成功的视频分割算法被提出，但是要开发一个能处理复杂的、动态的场景的鲁棒视频分割算法仍然是一个具有挑战性的问题。因为在视频分割中，由于待分割目标自身变化和外界环境干扰，会导致多种分割挑战，例如：遮挡、剧烈形变、复杂背景、光照变化等。这些挑战会导致视频分割时出现轮廓漂移，产生分割错误，如果分割错误一直累积，就会导致分割失败。因此，需要利用目标的运动规律，捕捉目标表观模型的变化趋势，并充分利用目标在第一帧中稳定的特征，提高视频分割的鲁棒性。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于吸收马尔科夫链和骨架映射网络的视频分割方法及装置，可以较好地分割出复杂场景下目标的边缘轮廓。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种基于吸收马尔科夫链和骨架映射网络的视频分割方法，包括下述步骤：

基于孪生网络的目标跟踪算法，获取当前帧的目标跟踪结果，并将目标跟踪结果向外扩展，计算出每帧中目标的感兴趣区域，将感兴趣区域进行超像素分割成若干超像素；

根据第一帧和当前帧的超像素，以及当前帧前一帧和当前帧的超像素，分别构建两条吸收马尔科夫链，计算出当前帧每个超像素的两个吸收时间，并对吸收时间加权，根据加权后的吸收时间确定超像素的初始前景标签和背景标签；

构建短期时空线索和长期时空线索对超像素标签进行优化；所述短期时空线索用于描述目标短时间内外观变化，基于视频序列中当前帧的前几帧的分割结果，校正当前帧中被误分割为前景的孤立背景超像素；所述长期时空线索用于描述目标长久稳定外观特征，构造从第一帧到当前帧的长期外观模型，若当前帧中有多个区域被同时分割为目标，则比较这多个区域与长期外观模型的相似度，选择最相似的区域作为分割结果；

基于当前帧超像素的前景标签和超像素间的邻接关系，绘制目标的前景骨架；基于与目标外观相似的干扰物，绘制目标的背景骨架；

基于残差网络和编码解码框架构造骨架映射网络，用语义分割和视频分割的通用数据集训练骨架映射网络，并将前景骨架、背景骨架、当前帧的图像信息输入骨架映射网络，输出当前帧的视频分割结果。

作为优选的技术方案，所述基于孪生网络的目标跟踪算法，获取当前帧的目标跟踪结果，并将目标跟踪结果向外扩展，计算出每帧中目标的感兴趣区域，具体为：

在视频序列的第一帧，人工标定目标的位置和大小，即用鼠标在第一帧图像上，画出与目标在上、下、左、右四个方向相切的矩形框，将矩形框的左上角坐标用(x,y)表示，将矩形框的宽用w表示，高用h表示，x、y、w、h四个参数包含矩形框的所有空间信息；

基于孪生网络，预测后续帧中的跟踪结果，将每帧的跟踪结果用(x,y,w,h)表示，并将跟踪结果存入文本文件；