[发明专利]一种时空部件图的视频目标分割方法

权利要求书

1.一种时空部件图神经网络的视频目标分割方法，其特征在于，包括以下几个步骤：

S1、使用孪生编码模型构建时空孪生编码模块，所述孪生编码模型分两个分支：一个分支输入历史帧和掩模捕获序列的动态特征，另一个分支输入当前帧图像和前一帧的分割掩模；

S2，构建时空部件图，使用图卷积网络，学习时空特征，增强目标的外观和运动模型；并引入通道注意模块，把鲁棒的时空目标模型输出到解码模块；

S3，设计平滑精细模块，结合相邻阶段的多尺度图像特征，从时空信息中分割出目标。

2.根据权利要求1所述的时空部件图神经网络的视频目标分割方法，其特征在于：

步骤S1具体包括：

S1.1、时空孪生框架有两个分支：第一个分支的输入为一个图像-掩模对即当前帧t帧图像x_t和前一帧视频目标的二进制掩模的拼接，H和W为图像帧的高度和宽度，与输入的视频图像有关；第二个分支的输入为t-1到t-K的时空历史多帧图像与掩模对，即两个分支都使用ResNet50做为基础网络；

S1.2、在得到ResNet50中第5阶段的图像特征之后，使用全局卷积模块生成图像特征，即第一个分支的输出为z_t和第二个分支的输出为{z_t-K,...,z_t-1}；

其中，h×w是特征尺寸大小，C₁为特征的通道数；z_t-1与z_t-K的维度相同；

S1.3、将这些特征输入到时空部件图卷积网络中，以处理后输出到解码模块。

3.根据权利要求1所述的时空部件图神经网络的视频目标分割方法，其特征在于：步骤S2具体包括：

S2.1、构建时空部件外观模型

首先，把时空孪生框架中第二个分支的输出{z_t-K,...,z_t-1}生成为一个时空部件外观模型，在具有N＝h×w个部件和K帧上构建了一个无向时空部件图G_ST＝(V,E)，这些帧K具有帧内和帧间部件的关系；

其中，V是无向时空部件图中的节点集，V＝{v_kn|k＝t-1,...,t-K；n＝1,...,N}，包含所有K中所有的节点，其中，v_kn为一个节点，F(v_kn)为特征向量；

E是无向时空部件图中的边集，边集E包含两类边：第一类是空间边E_S，表示每一帧图像特征中帧内节点之间的关系，表示为E_S＝{v_kiv_kj|1≤i,j≤N,i≠j}；

第二类为时序边E_T，表示帧间节点之间的关系，将连续帧中具有相同位置的部件连接，即E_T＝{v_kjv_(k+1)j}；

基于上述无向时空部件图，使用图卷积网络对其中节点之间关系进行处理，用图卷积实现，首先，基于无向时空部件图G_ST关系确定了邻近矩阵A的权重；其次，将邻近矩阵和特征矩阵H⁽⁰⁾表示为图卷积网络的输入，而图卷积网络的输出为更新H^(l+1)：

其中，Θ是需要训练的特定于层的权重矩阵，I为单位矩阵，ReLU(·)为非线性激活函数；

使用两层图卷积网络，输出矩阵为其中最后，通过最大池化聚合了时空部件特征

其次，时空部件的图卷积网络模块的输入有两个部分，已经生成了时空部件特征模型z_ST，而另一个部分为当前帧图像特征模型z_t，构建一个无向空间部件图G_S，无向空间部件图G_S与上述无向时空部件图G_ST相似，不同之处只在于帧的数量，即无向空间部件图G_S的图像帧为1，而无向时空部件图G_ST的图像帧为K，之后，与上述两层图卷积网络处理步骤相同，获得空间部件特征

S2.2、生成鲁棒统一时空部件外观模型

接下来，将时空部件特征z_ST和空间部件特征z_S进行通道对齐，拼接为一个整体特征，此时，使用全局卷积模块将这个特征的两个部分进行特征匹配，这一模块中所有卷积层的产生的特征图的通道都为256，输出特征为Z；

最后，时空部件外观模型和空间部件外观模型的输出特征具有不同的特性，采用注意机制为所有的特征分配不同的权重，即特征通道选择，用下列非线性变换把特征Z变换为

其中，ψ,f_GAP分别表示逐通道乘法、Sigmoid激活函数、ReLU激活函数和全局平均池化；此外，θ₁和θ₂为卷积层权重，为了优化特征图，使用残差模块提升边缘细节。