[发明专利]一种融合多层语义信息的孪生交叉目标跟踪方法

说明书

本发明具体涉及一种融合多层语义信息的孪生交叉目标跟踪方法，包括：基于孪生神经网络构建孪生跟踪模型；获取跟踪目标的视频帧序列并输入经过训练的孪生跟踪模型中；首先通过孪生主干网络并行连接不同层次的语义信息；然后通过孪生区域推荐交互网络获取对应的分类图和回归图，并通过并行交叉注意机制融合不同分支间的互监督信息；最后通过自适应可形变卷积模块提供全局的目标描述辅助，并生成对应的分类得分图和回归得分图；基于跟踪目标的分类得分图定位中心位置，并根据回归得分图生成位置描述。本发明的孪生交叉目标跟踪方法能够充分探索分类特征和回归特征间的交互互补机制，充分挖掘孪生网络潜力并提升模型性能。

技术领域

本发明涉及目标跟踪技术领域，具体涉及一种融合多层语义信息的孪生交叉目标跟踪方法。

背景技术

作为计算机视觉领域中的一个重要方向，目标跟踪一直以来都受到了高度的关注。在视频监控、增强现实和人机交互等领域中具有很广泛的应用。虽然，在最近的研究过程中跟踪算法的性能已经得到了提升，但是，由于光照变化、遮挡和相似干扰等复杂场景的存在，目标跟踪任务依旧充满了挑战。

随着深度卷积神经网络的引入，自适应提取的语义信息丰富的高维特征使目标跟踪算法获得了很大的提升。但是，由于深度神经网络结构的复杂性及卷积特征的高维性，使得跟踪算法的端到端训练和在线微调变得尤为复杂。同时，深度神经网络中计算量的大幅增加会导致跟踪速度的减慢，即使算法满足了精度的要求也无法达到实时性的要求。为了解决上述问题，基于孪生神经网络的目标跟踪算法获得了较快的进展。

其中，公开号为CN112446900A的中国专利就公开了《一种孪生神经网络目标跟踪方法及系统》，其包括：将模板分支图像与搜索区域分支图像输入到离线训练过的孪生神经网络中；利用孪生神经网络中的卷积层对上述输入的模板分支图像与搜索区域分支图像进行特征提取，得到三个卷积块的特征图；对特征提取得到的三个卷积块的特征图，采用多层信息融合得到响应图；在多层信息融合得到的响应图中寻找最大峰值，并映射到搜索区域分支图像中确定目标的精确位置。

上述现有的目标跟踪方法通过孪生神经网络提取语义信息更加丰富的深度特征，进而能够提高目标跟踪的精度。现有的目标跟踪方法一般直接对每个像素直接进行分类和回归，使得生成的分类特征集中于局部图像特征信息，对目标中心位置具有很强的鲁棒性，回归特征能够通过学习目标的空间位置全局信息来获得准确的状态估计。然而，现有方法没有充分探索分类特征和回归特征间的交互互补机制，进而难以充分挖掘孪生网络的潜力，限制了模型性能的提高，导致目标跟踪的准确性不够好。因此，如何设计一种能够充分挖掘孪生网络的潜力并提升模型性能的目标跟踪方法是亟需解决的技术问题。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种融合多层语义信息的孪生交叉目标跟踪方法，以充分探索分类特征和回归特征间的交互互补机制，充分挖掘孪生网络潜力，提升模型性能，从而提升目标跟踪的准确性。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种融合多层语义信息的孪生交叉目标跟踪方法，包括以下步骤：

S1：基于孪生神经网络构建孪生跟踪模型，并对孪生跟踪模型进行训练；

S2：获取跟踪目标的视频帧序列，将视频帧序列的首帧作为模板帧，后续帧作为搜索帧；

S3：将跟踪目标的模板帧和搜索帧输入经过训练的孪生跟踪模型中；

所述孪生跟踪模型通过孪生主干网络并行连接不同层次的语义信息；然后通过孪生区域推荐交互网络获取对应的分类图和回归图，并通过并行交叉注意机制融合不同分支间的互监督信息；最后通过自适应可形变卷积模块提供全局的目标描述辅助，并生成对应的分类得分图和回归得分图；

S4：基于跟踪目标的分类得分图定位中心位置，并根据回归得分图生成位置描述。