[发明专利]一种融合视觉词和自注意力机制的视频目标分割方法

说明书

本发明公开了一种融合视觉词和自注意力机制的视频目标分割方法，属于计算机视觉技术领域。该方法包括如下步骤：首先利用固定数量的视觉词来表示感兴趣的目标，即使一个对象作为一个整体可能会受到遮挡，变形，视点变化或者从同一视频中消失并重新出现，但其某些局部部分的外观仍会保持一致，因此使用视觉词可以实现更鲁棒的匹配。然后，我们将自注意力机制用于视觉单词匹配生成的相似图，以捕获不同相似图之间的依赖关系。最后，为了解决目标对象的外观变化和视觉词不匹配问题，提出了在线更新和全局匹配机制进一步提高准确率。本发明在部分视频场景中分割精度超出同类算法，同时分割效率有明显的提升。

技术领域：

本发明涉及一种融合视觉词和自注意力机制的视频目标分割方法，属于计算机视觉技术领域。

背景技术:

视频目标分割是计算机视觉中的一项基本任务，在图像视觉内容分析与理解方面起着重要作用。视频目标分割可以更好地帮助理解视频，有助于完成交互式视频编辑、自动驾驶和机器人导航等任务。视频目标分割是指在视频帧序列中将前景对象与背景分离的过程。目前该领域内已有许多方法解决这种二元分割问题，这些方法可以分为无监督方法和监督方法。前者不需要人工介入，直接输入视频数据；后者则要求人为提供额外的标签数据来进行初始化。

目前大多数高精度的方法都依赖在线微调深度神经网络来学习目标物体的外观。虽然它们的预测精度很高，但由于在线学习过程需要花费大量额外时间，使得这些方法速度通常较慢，这在很大程度上限制了它们在实际场景中的应用。为了解决上述依赖在线微调的方法的问题，最近的研究集中在设计无需微调的网络模型，旨在避免在线学习并获得更快的运行速度。基于掩码传播的方法主要依赖于前一帧的预测结果来推断当前帧，这些方法虽然简单，快速，但是无法处理在传播过程中受到遮挡、形变和快速运动的目标，并且可能会出现误差累积。另外一种方法采用基于匹配的网络模型来解决分割任务，该方法通过在学习的度量空间中将第一帧特征与后续每一帧特征之间进行像素级匹配来预测分割结果。这些方法需要大量数据来训练网络，故而它们通常依赖大型图像数据集进行复杂的预训练，这也限制它的实用性。这些方法各自的优缺点显而易见。具体来说，基于在线学习的方法以牺牲速度为代价来获得准确的预测，需要几秒钟来分割每帧。相反，简单的基于匹配或传播的方法速度更快，但分割精度欠佳。综上所述，现有的大多数方法无法同时满足视频目标分割任务的精度和速度，这对实际应用是必不可少的。因此，仍然需要更有效的方法来达到更好的速度与精度权衡。

发明内容：

针对视频中往往会出现目标形状不规则、帧间运动存在干扰信息和运动速度过快等情况，本发明提出了一种融合视觉词和自注意力机制的视频目标分割方法。首先利用固定数量的视觉词来表示感兴趣的目标，即使一个对象作为一个整体可能会受到遮挡，变形，视点变化或者从同一视频中消失并重新出现，但其某些局部部分的外观仍会保持一致，因此使用视觉词可以实现更鲁棒的匹配。然后，我们将自注意力机制用于视觉单词匹配生成的相似图，以捕获不同相似图之间的依赖关系。最后，为了解决目标对象的外观变化和视觉词不匹配问题，提出了在线更新和全局匹配机制进一步提高准确率。本发明在部分视频场景中分割精度超出同类算法，同时分割效率有明显的提升。

本发明为解决其技术问题采用如下技术方案：

一种融合视觉词和自注意力机制的视频目标分割方法包括以下步骤：

步骤1：采用基于ResNet-101的DeepLabV3+的深度卷积神经网络作为编码器，将视频第一帧图像输入编码器中，提取分辨率为原图像1/8的特征；

步骤2：将步骤1提取的特征输入到嵌入空间中获得嵌入特征，使用双线性插值对嵌入特征进行上采样，恢复中至原始图像大小；

步骤3：利用参考帧标注的掩膜信息，通过聚类算法对步骤2嵌入空间中像素进行聚类分簇形成视觉词；

步骤4：将所要分割的视频帧图像进行步骤1的操作提取特征，随后对提取的特征进行步骤2操作，获得所要分割的视频帧图像的嵌入特征；