[发明专利]一种融合孪生网络与相关滤波的目标跟踪方法

说明书

本发明提供了一种融合孪生网络与相关滤波的目标跟踪方法包括如下：步骤一、利用ResNet50网络提取图像特征；步骤二、通过注意力机制，将不同网络层次的特征进行融合，得到融合边缘与语义特性的判别性特征；步骤三、将自适应尺度与学习速率调整的背景感知相关滤波模型引入网络结构，设计更新策略，实现对目标模板信息进行有效更新；该方法能够通过利用注意力机制方法优化目标表观特征信息的描述，利用自适应尺度与学习速率调整的背景感知相关滤波模型设计模型更新策略，并通过相似性判定准则与置信图得到目标最佳位置，最终有效适应遮挡、尺度变化、快速运动、旋转形变及运动模糊等多种复杂因素的影响，实现准确的目标运动状态估计。

技术领域

本发明属于目标跟踪技术领域，具体涉及一种融合孪生网络与相关滤波的目标跟踪方法。

背景技术

随着深度学习技术的发展，诸多研究学者将深度学习技术应用于目标跟踪框架中，并且取得了较为优异的跟踪结果。现阶段基于深度学习理论的目标跟踪方法成为目标跟踪技术研究方案的主流，一般由于神经网络的卷积特征能够更为鲁棒性的描述目标外观信息变化，目标模型在应用中更具有广泛性。

有文献利用全卷积孪生神经网络结构学习目标相关特征，通过计算搜索区域与模板区域之间的相似性，得到目标区域的响应图，但是网络实现过程未考虑到跟踪过程中模板更新策略，面对复杂环境的影响，跟踪模型易产生漂移。有文献将深度神经网络与相关滤波相结合，提出端到端的目标跟踪框架，在相关滤波模型机制中利用深度特征对目标信息进行有效描述，从而提高了模型性能且模型实时性也存在保障。有文献通过融合浅层特征与深层特征构建目标外观模型，复杂环境下能够有效的区分被跟踪目标信息与背景信息。网络训练过程中引入光流信息，可以在一定程度上提高特征表达能力，同时加入了时空注意力机制充分利用目标的前景信息，从而达到精确定位。有文献将循环神经网络产生的深度特征作用于卷积神经网络构建的目标外观模型中，从而提高了外观模型的表达能力。有文献利用循环神经网络构建序列关联模型，完成信息之间的转换，将有遮挡的环境信息转换为无遮挡的环境信息，从而降低了跟踪过程中遮挡因素的影响。有文献基于目标检测思想将目标跟踪任务划分为两个阶段，即目标分类和目标评价，该方法实现过程中利用深度回归网络构建目标分类模块，以达到粗略的获取目标位置的目的，其中，目标估计网络中引入交并比最大化概念，从而使得矩形框与目标真实位置更加吻合。

为了更好地解决目标在具有遮挡、光照变化、形变、运动模糊等多种复杂环境下容易出现跟踪漂移的问题，本发明设计提出一种融合孪生网络与相关滤波的目标跟踪方法。首先，引入数据增强算法，通过旋转、光照变化等处理手段增强模型训练数据集，然后，引入相关滤波模型，将其视为网络模型中的一层，从而设计模型更新更新策略，最后，通过相似性判定准则得到和目标模板最相似的候选样本，通过响应图的置信度选择目标当前位置，实现目标的准确的跟踪。

发明内容

为了更好地解决目标在具有遮挡、光照变化、形变、运动模糊等多种复杂环境下容易出现跟踪漂移的问题，本发明设计提出一种融合孪生网络与相关滤波的目标跟踪方法。

首先，引入数据增强算法，通过旋转、光照变化等处理手段增强模型训练数据集，然后，引入相关滤波模型，将其视为网络模型中的一层，从而设计模型更新更新策略，最后，通过相似性判定准则得到和目标模板最相似的候选样本，通过响应图的置信度选择目标当前位置，实现目标的准确的跟踪。

如图1所示，一种融合孪生网络与相关滤波的目标跟踪方法，包括如下步骤：

步骤一、利用ResNet50网络提取图像特征；

步骤二、通过注意力机制，将不同网络层次的特征进行融合，得到融合边缘与语义特性的判别性特征；

步骤三、将自适应尺度与学习速率调整的背景感知相关滤波模型引入网络结构，设计更新策略，实现对目标模板信息进行有效更新。

进一步的，所述步骤一、利用ResNet50网络提取图像特征的具体过程是: