[发明专利]一种融合视觉词和自注意力机制的视频目标分割方法

权利要求书

1.一种融合视觉词和自注意力机制的视频目标分割方法，其特征在于，包括以下步骤：

步骤1：采用基于ResNet-101的DeepLabV3+的深度卷积神经网络作为编码器，将视频第一帧图像输入编码器中，提取分辨率为原图像1/8的特征；

步骤2：将步骤1提取的特征输入到嵌入空间中获得嵌入特征，使用双线性插值对嵌入特征进行上采样，恢复中至原始图像大小；

步骤3：利用参考帧标注的掩膜信息，通过聚类算法对步骤2嵌入空间中像素进行聚类分簇形成视觉词；

步骤4：将所要分割的视频帧图像进行步骤1的操作提取特征，随后对提取的特征进行步骤2操作，获得所要分割的视频帧图像的嵌入特征；

步骤5：结合步骤3形成的视觉词，通过单词匹配操作以固定数量的视觉词来表示步骤4中提取的嵌入特征，生成前背景相似图；

步骤6：对步骤5的前背景相似图应用自注意力机制，获得前背景特征图；

步骤7：对步骤6的前背景特征图取通道方向的最大值作为预测分割掩膜；

步骤8：采用在线更新和全局匹配机制对外观变化和视觉词不匹配问题进行处理。

2.根据权利要求1所述的一种融合视觉词和自注意力机制的视频目标分割方法，其特征在于，步骤2所述嵌入空间由128维3x3卷积层构成。

3.根据权利要求1所述的一种融合视觉词和自注意力机制的视频目标分割方法，其特征在于，步骤6所述自注意力机制包括空间注意力和通道注意力。