[发明专利]基于注意力机制的双流层次孪生网络目标跟踪方法

说明书

本发明提供了基于注意力机制的双流层次孪生网络目标跟踪方法，属于图像处理技术领域。第一步构建定位子网与语义子网，每个子网均为一个孪生网络，在定位子网中，利用孪生网络提取前一帧目标模板特征和搜索区域特征，在语义子网中，利用孪生网络提取第一帧目标模板特征和搜索区域特征。第二步构建空间注意力模块增强定位子网中提取的空间特征。第三步构建通道注意力模块激活语义子网中与目标信息相关性强的通道特征。第四步对两个子网的输出响应图进行加权融合以实现目标跟踪。本发明能够提高跟踪器在相似干扰或背景杂乱等复杂场景的特征判别能力，有效提高目标跟踪的准确性与鲁棒性。

技术领域

本发明涉及基于注意力机制的双流层次孪生网络目标跟踪方法，属于图像处理技术领域。

背景技术

随着计算机硬件性能和软件技术的迅猛发展，目标跟踪技术在计算机视觉应用领域受到越来越多的关注，并在军事和民用等许多领域都表现出非常广泛的应用前景。近年来，随着深度学习技术的兴起，越来越多跟踪领域的学者也开始尝试将深度神经网络应用在目标跟踪领域。基于深度学习的目标跟踪算法大致可以分为两类。第一类遵循学习分类器并进行在线更新的策略，但是，由于需要更新大量的网络参数，这些跟踪器具有昂贵的计算代价。这一问题促使了第二类基于相似性学习的跟踪器的出现，这类跟踪器在跟踪效率和精度之间实现了权衡。深度孪生神经网络结构通常被用于解决相似性学习问题，通过计算模板图像和搜索图像之间的相似度，将得分最高的位置作为目标位置的预测结果。全卷积孪生网络在目标跟踪中具有着非常优秀表现，但是一些特殊场景下，比如相似干扰或背景杂乱等情况下，跟踪器不能体现良好的泛化能力。这是因为这种跟踪器在跟踪时仅仅使用高层语义特征进行目标识别，在遇到相似干扰时，单一特征很容易导致跟踪器的漂移。并且由于当前帧的候选框位置严重依赖于前一帧的预测位置信息，一旦某一帧目标定位发生较大的偏差，将严重阻碍跟踪器的性能。因此，在某些复杂的场景下，特别是在存在类似干扰物或背景杂乱的情况下，跟踪器的跟踪能力受到极大的限制。

发明内容

本发明旨在克服现有技术存在的不足，针对孪生网络的特征判别能力在相似干扰和杂乱背景等特定场景下较弱的问题，提出了一种基于注意力机制的双流层次孪生网络目标跟踪方法。

本发明所采用的技术方案是：构建基于注意力机制的双流层次孪生网络进行目标跟踪。神经网络中来自高层的特征包含了更强的语义信息，而低层特征关注轮廓、边缘、纹理等特征信息，包含更精确的位置信息。这些语义信息和位置信息在目标特征表达上具有互补性。本发明能够充分利用层次特征来获取视觉跟踪所需的空间信息和语义信息，利用其互补的优势，以此提高跟踪器将目标从相似干扰物或杂乱无章的背景中区分出来的辨别能力，提高跟踪器的可靠性和鲁棒性。

基于注意力机制的双流层次孪生网络目标跟踪方法，包括以下步骤：

第一步，构建定位子网与语义子网，每个子网均为一个孪生网络，在定位子网中，利用孪生网络提取前一帧目标模板特征和搜索区域特征，在语义子网中，利用孪生网络提取第一帧目标模板特征和搜索区域特征；

第二步，构建空间注意力模块增强定位子网中提取的空间特征；

第三步，构建通道注意力模块激活语义子网中与目标信息相关性强的通道特征；

第四步，对两个子网的输出响应图进行加权融合以实现跟踪。

本发明的效果和益处：针对孪生网络的特征判别能力在相似干扰和杂乱背景等特定场景下较弱的问题，提出了一种基于注意力机制的双流层次孪生网络目标跟踪方法。该方法充分挖掘层次特征互补的优势，同时结合基于注意力机制提取目标显著特征，定位子网通过空间注意力模块激活与目标相关性强的空间特征，语义子网通过通道注意力模块对跟踪特定目标方面发挥更重要作用的语义通道赋予更高的权重。本发明能够提高跟踪器在相似干扰或背景杂乱等复杂场景的特征判别能力，有效提高目标跟踪的准确性与鲁棒性。

附图说明