[发明专利]基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法

说明书

本发明公开了一种基于浅‑中‑深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法，该方法包括步骤：S1，提出了一种浅‑中‑深三级特征融合孪生网络；S2，从浅、中、深三类网络层提取出对应的特征图并进行特征级别的融合得到互补特征图；S3，利用孪生网络两条分支的互补特征图通过相关计算得到一对相似性得分图，并将相似性得分图进行分数级别的融合得到最终的得分图；S4，寻找得分图中的峰值点作为初始聚类中心完成聚类，计算聚类中心与最远聚类点的距离；S5，以该距离控制矩形窗尺寸大小的变化，完成对得分图的滤波。实验结果证明，SiamSMDFFF相较于传统跟踪器在多项性能方面均有明显提高。

技术领域

本发明属于目标跟踪领域，特别是SiamSMDFFF(Siamese Shallow-Middle-DeepFeature Fusion Filter)：基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪器。

背景技术

目标跟踪是机器视觉领域中具有重要研究意义的课题之一，其相关技术被广泛应用于模式识别、无人驾驶、人机交互、智能机器人和智慧医疗等领域。目标跟踪任务通常在视频图像序列第一帧中使用矩形框选定需要跟踪的目标，并在后续帧中持续标注出目标对象所在的空间位置，得到目标的运动轨迹。

传统的目标跟踪方法，如均值漂移、粒子滤波和卡尔曼滤波等，均表现出易受背景信息或环境因素干扰导致跟踪失败，且对于目标形状、尺度和速度等各类变化的鲁棒性亟待提高等不足。随后出现的基于相关滤波的目标跟踪方法，在利用傅里叶变换和循环矩阵理论的基础上，通过核函数的引进、图像特征的替换、尺度估计方法的设计和降维策略的使用等操作，大幅提高了跟踪性能。近年来，随着深度学习技术的发展，出现了将CNN提取的深度特征与相关滤波相结合的跟踪方法，同时还出现了构造端到端的深度网络完成目标跟踪的方法，其中孪生网络类型的跟踪器展现出了其在平衡速度和精度两个方面的优良性能。

基于孪生网络的目标跟踪方法将目标跟踪任务转化为相似性匹配任务，利用数据集，通过端到端的方式训练跟踪器。训练好的跟踪器在跟踪过程中不再进行网络权重的在线更新，从而保证了跟踪器的速度。但是传统的孪生网络类型的跟踪器通常只使用最后一层CNN提取到的包含语义信息的深层特征完成相似性匹配，并没有充分利用包含细致的表观信息、对相似物干扰鲁棒性较好的浅层特征以及在浅层的表观特征和深层的语义特征之间起过渡作用的中层特征。此外，为了进一步提高跟踪器的性能，传统方法通常使用余弦窗对得分图进行滤波以抑制背景干扰的负面影响，但是余弦窗滤波对目标相似物干扰的抑制效果有限。

发明内容

为了解决上述问题，本发明提出了一种基于具有互补性质的浅-中-深三级特征融合与基于聚类的可变矩形窗滤波相结合的孪生网络跟踪器。首先，从浅、中、深三类网络层提取出对应的特征图并进行特征级别的融合得到互补特征图；然后，将孪生网络两条分支的互补特征图通过相关计算得到一对相似性得分图，再将这对相似性得分图进行分数级别的融合得到最终的得分图；最后，由于视频相邻帧之间符合严格的时间序列关系，目标运动状态具有连续性，从而可以对目标的运动方向进行预测，因为目标实际运动与得分图峰值点位置变化具有映射关系，所以可沿目标运动方向对得分图进行滤波。在滤波过程中，我们首先寻找得分图的峰值点，以峰值点作为初始聚类中心完成聚类，然后计算聚类中心与最远聚类点的距离，最后以该距离控制矩形窗尺寸大小的变化，完成对得分图的滤波。实验证明，SiamSMDFFF相较于传统跟踪器在多项性能方面均有明显提高。

本发明的技术方案如下：

S1，构建一种浅-中-深三级特征融合孪生网络；

S2，从浅、中、深三类网络层分别提取出对应的特征图并进行特征级别的融合得到互补特征图；

S3，利用孪生网络两条分支的互补特征图通过相关计算得到一对相似性得分图，并将相似性得分图进行分数级别的融合得到最终的得分图；

S4，寻找最终得分图中的峰值点作为初始聚类中心完成聚类，计算聚类中心与最远聚类点的距离；