[发明专利]基于掩码指导特征净化的非监督视频目标分割方法

权利要求书

1.基于掩码指导的特征净化非监督视频目标分割方法，其特征在于包括训练和测试两个阶段，

分割网络训练阶段包括：

步骤1：构造数据集

以视频帧为输入，视频帧对应分割掩码为训练目标，构造出训练视频对应的目标分割图像集，其中，构造训练集的视频帧和其对应的目标分割标注记为为I^t表示视频帧RGB图像，Y^t表示I^t对应的分割标注；

步骤2：提取输入视频帧的嵌入特征X和前向预测掩码S_F；

步骤3：使用掩码平均池化得到全局目标特征V_FG；

步骤4：通过注意力传播得到增强嵌入特征

步骤5：嵌入特征X与增强嵌入特征稠密比较并进行净化重估计，生成净化重估计掩码S_B；

步骤6：计算分割损失，更新分割网络参数

分割网络实测阶段包括：

步骤7：分割网络训练完成后，重复步骤2-5，步骤2和步骤5分别得到前向预测掩码S_F和净化重估计掩码S_B，计算两者平均值，得到最终视频目标分割结果。

2.根据权利要求1所述的基于掩码指导的特征净化非监督视频目标分割方法，其特征在于：步骤2具体为：

从中选择一个RGB图像表示为I，利用编码器Encoder提取输入嵌入特征X，表示如下，

X＝Encoder(I)

其中H和W表示输入图像的高和宽，c表示嵌入特征的通道数，h和w表示嵌入特征的高和宽；

将嵌入特征X输入前向预测解码器D_F生成前向预测掩码S_F∈[0,1]^1*h*w，表示如下，

S_F＝σ(D_F(X))

其中σ表示sigmoid函数。

3.根据权利要求1所述的基于掩码指导的特征净化非监督视频目标分割方法，其特征在于：步骤3具体为：

对S_F进行双线性插值操作，获得与嵌入特征X相同尺寸的大小，记为

使用掩码平均池化的方法来提取目标特征，公式如下：

其中(i,j)表示空间位置的索引，表示指示函数；在该操作中，分子表示先将嵌入特征X和上采样后的前向预测掩码S_FG进行哈达马乘积操作得到预测前景特征并求和，与此同时背景区域对应的特征都为零；分母表示使用前景区域对应的面积；

最后将得到的目标特征v_F上采样到和嵌入特征X大小一致，将其看作为全局目标特征V_FG。

4.根据权利要求1所述的基于掩码指导的特征净化非监督视频目标分割方法，其特征在于：步骤4具体为：

首先计算X和V_FG对应的相似性矩阵具体公式如下：

其中V_FGX^T表示X和V_FG的点积操作，c为X和V_FG的通道数，softmax操作规则化每一行，使和为1，用于保留特征的尺度不变形；

使用相似性矩阵将嵌入特征X映射到一个新的全局目标特征表达，即增强嵌入特征公式如下：

5.根据权利要求1所述的基于掩码指导的特征净化非监督视频目标分割方法，其特征在于：步骤5具体为：

将与X所对应的所有空间位置对其后进行拼接，表示如下：

其中，Concat(.)为拼接操作，将X_5C经过卷积层实现稠密比较，得到经过拼接融合后的特征向量X_B，将其看作反馈指导传播增强特征；

随后将X_B输入净化解码器D_B生成净化重估计掩码S_B∈[0,1]^1*h*w，公式如下：

S_B＝σ(D_B(X_B))

其中σ表示sigmoid函数。

6.根据权利要求1所述的基于掩码指导的特征净化非监督视频目标分割方法，其特征在于：步骤6具体为：

使用通过反向传播算法更新分割网络权重，使用二元交叉熵损失函数训练，具体公式如下：

其中，log(.)为logarithmic函数；T为训练数据集视频帧数。