[发明专利]基于吸收马尔科夫链和骨架映射网络的视频分割方法及装置

权利要求书

1.基于吸收马尔科夫链和骨架映射网络的视频分割方法，其特征在于，包括下述步骤：

基于孪生网络的目标跟踪算法，获取当前帧的目标跟踪结果，并将目标跟踪结果向外扩展，计算出每帧中目标的感兴趣区域，将感兴趣区域进行超像素分割成若干超像素；

根据第一帧和当前帧的超像素，以及当前帧前一帧和当前帧的超像素，分别构建两条吸收马尔科夫链，计算出当前帧每个超像素的两个吸收时间，并对吸收时间加权，根据加权后的吸收时间确定超像素的初始前景标签和背景标签；

构建短期时空线索和长期时空线索对超像素标签进行优化；所述短期时空线索用于描述目标短时间内外观变化，基于视频序列中当前帧的前几帧的分割结果，校正当前帧中被误分割为前景的孤立背景超像素；所述长期时空线索用于描述目标长久稳定外观特征，构造从第一帧到当前帧的长期外观模型，若当前帧中有多个区域被同时分割为目标，则比较这多个区域与长期外观模型的相似度，选择最相似的区域作为分割结果；

基于当前帧超像素的前景标签和超像素间的邻接关系，绘制目标的前景骨架；基于与目标外观相似的干扰物，绘制目标的背景骨架；

基于残差网络和编码解码框架构造骨架映射网络，用语义分割和视频分割的通用数据集训练骨架映射网络，并将前景骨架、背景骨架、当前帧的图像信息输入骨架映射网络，输出当前帧的视频分割结果。

2.根据权利要求1所述基于吸收马尔科夫链和骨架映射网络的视频分割方法，其特征在于，所述基于孪生网络的目标跟踪算法，获取当前帧的目标跟踪结果，并将目标跟踪结果向外扩展，计算出每帧中目标的感兴趣区域，具体为：

在视频序列的第一帧，人工标定目标的位置和大小，即用鼠标在第一帧图像上，画出与目标在上、下、左、右四个方向相切的矩形框，将矩形框的左上角坐标用(x,y)表示，将矩形框的宽用w表示，高用h表示，x、y、w、h四个参数包含矩形框的所有空间信息；

基于孪生网络，预测后续帧中的跟踪结果，将每帧的跟踪结果用(x,y,w,h)表示，并将跟踪结果存入文本文件；

将每帧跟踪结果所在矩形框的长和宽进行扩展，得到每帧的感兴趣区域，如果扩展后的感兴趣区域边界超出图像范围，则将图像边界作为感兴趣区域的边界。