[发明专利]一种时空部件图的视频目标分割方法

说明书

一种时空部件图的视频目标分割方法，首先使用孪生编码模型，分两个分支：一个分支输入历史帧和掩模捕获序列的动态特征，另一个分支输入当前帧图像和前一帧的分割掩模。其次，构建时空部件图，使用图卷积网络，学习时空特征，增强目标的外观和运动模型；并引入通道注意模块，把鲁棒的时空目标模型输出到解码模块。最后，设计平滑精细模块，结合相邻阶段的多尺度图像特征，从时空信息中分割出目标。本发明时空部件图模型可生成鲁棒目标外观和运动特征，解决目标遮挡、快速变化及背景杂波问题，进而缓解目标外观变化而导致的视觉目标漂移问题，同时能够提高视频目标分割的性能。

技术领域

本发明涉及一种视频目标分割方法，特别是时空部件图的视频目标分割方法。

背景技术

视频目标分割是在第一帧或参考帧上手动或自动给出特定目标掩模，而后在整个视频序列中的分割这些特定目标。当前方法与实际应用还有很大距离，其中目标遮挡、快速移动、外观变化以及不同实例之间的相似性仍然是主要障碍。文献“Fast video objectsegmentation by reference-guided mask propagation.IEEE on Computer Vision andPattern Recognition,USA,2018:7376-7385”公开了一种视频目标分割方法，使用参考引导的掩模传播方式，将带有标签的参考帧和具有前一帧掩模的当前帧同时用于深度网络，输出目标掩模，取得了一定的效果。但是，该方法使用第一帧中的初始目标掩模来匹配当前帧目标，由于视觉目标分割是变化场景的动态过程，在连续帧中目标外观之间存在很强的时空关系；且简单的叠加参考帧图像和目标掩模、以及当前帧图像和前一帧掩模，没有挖掘两帧图像上空间和时域信息，易导致视觉目标的漂移问题，使得视频目标分割失败。且该方法使用多阶段特征解码方式，但不同的阶段具有不同的识别能力，从而导致不同的一致性表现，使用分割的细节有待提升。

发明内容

本发明的目的是要提供一种时空部件图的视频目标分割方法，解决目标外观变化而导致的视觉目标漂移问题，并解决多阶段特征一致性表现，提高目标分割细节。

为了实现上述技术目的，本发明采用如下技术方案：

一种时空部件图神经网络的视频目标分割方法，包括以下几个步骤：

S1、使用孪生编码模型构建时空孪生编码模块，所述孪生编码模型分两个分支：一个分支输入历史帧和掩模捕获序列的动态特征，另一个分支输入当前帧图像和前一帧的分割掩模；

S2，构建时空部件图，使用图卷积网络，学习时空特征，增强目标的外观和运动模型；并引入通道注意模块，把鲁棒的时空目标模型输出到解码模块；

S3，设计平滑精细模块，结合相邻阶段的多尺度图像特征，从时空信息中分割出目标。

进一步的，步骤S1具体包括：

S1.1、时空孪生框架有两个分支：第一个分支的输入为一个图像-掩模对即当前帧t帧图像x_t和前一帧视频目标的二进制掩模的拼接，H和W为图像帧的高度和宽度，与输入的视频图像有关；第二个分支的输入为t-1到t-K的时空历史多帧图像与掩模对，即

S1.2、在得到ResNet50中第5阶段的图像特征之后，使用全局卷积模块生成图像特征，即第一个分支的输出为z_t和第二个分支的输出为{z_t-K,...,z_t-1}；

其中，h×w是特征尺寸大小，C₁为特征的通道数；z_t-1与z_t-K的维度相同；

S1.3、将这些特征输入到时空部件图卷积网络中，以处理后输出到解码模块。

进一步的，步骤S2具体包括：

S2.1、构建时空部件外观模型