[发明专利]一种多特征融合的孪生网络目标跟踪方法及系统

说明书

本发明公开了一种多特征融合的孪生网络目标跟踪方法及系统，将模板分支和搜索区域分支图像输入到SiamFC中得到对应的响应图；通过基于最大值滤波的多峰定位模块获取视频帧的响应图中多个峰对应的图像块；采用one‑shot学习方法中的匹配网络计算特征重匹配得分；通过素描重匹配模块来计算素描重匹配得分；通过融合策略对特征重匹配得分和素描重匹配得分进行融合；寻找匹配得分最大的图像，并将其映射到候选图像中确定目标的位置。本发明通过融合重匹配得分，利用了特征层面的语义信息和目标在视频帧中的结构和位置等信息，从而提高了目标跟踪的精度。

技术领域

本发明属于计算机视觉数字图像处理技术领域，具体涉及一种多特征融合的孪生网络目标跟踪方法及系统。

背景技术

近年来，目标跟踪技术已经被广泛应用于智能视频监控、机器人视觉导航和人机交互等众多领域。目标跟踪技术主要包括基于相关滤波的目标跟踪算法和基于深度学习的目标跟踪算法。基于相关滤波的目标跟踪算法虽然跟踪速度快，但是该类算法一般以视频本身作为训练数据，因而从本质上限制了模型的表达能力，导致跟踪精度有限。基于深度学习的目标跟踪算法一般采用多层卷积神经网络来增强模型的表达能力，因此提高了目标跟踪的精度，但是在在线跟踪的过程中需要采用随机梯度下降的方法来更新网络的权值，极大地降低了跟踪速度。在2016年，Bertinetto等人提出了基于深度孪生网络的目标跟踪方法SiamFC，该算法虽然采用多层卷积神经网络来增强模型的表达能力，但是在在线跟踪的过程中不需要更新网络的权值，因而在快速跟踪的过程中保持了相对较高的跟踪精度，引起了研究学者的广泛关注。

尽管SiamFC算法平衡了目标跟踪的速度和精度，但实际的跟踪场景往往是非常复杂的，当跟踪场景中出现与被跟踪目标相似的背景干扰时，SiamFC算法生成的响应图就会出现多个响应峰值。SiamFC算法选择响应图中最大值对应的位置作为目标的中心位置，然而当出现相似的背景干扰时响应图的最大值对应的目标可能并不是被跟踪的目标，从而导致跟踪失败。将上述问题称为响应图多峰问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种多特征融合的孪生网络目标跟踪方法及系统，改善了目标跟踪过程中相似语义干扰的问题，用于实现目标的精确跟踪。

本发明采用以下技术方案：

一种多特征融合的孪生网络目标跟踪方法，包括以下步骤：

S1、将模板分支和搜索区域分支图像输入到SiamFC中得到对应的响应图；

S2、通过基于最大值滤波的多峰定位模块获取步骤S1响应图中多个峰对应的图像块；

S3、以步骤S2得到的图像块作为支持集，采用one-shot学习方法中的匹配网络计算特征重匹配得分；

S4、以步骤S2得到的图像块作为支持集，通过素描重匹配模块计算素描重匹配得分；

S5、通过融合策略对步骤S3的特征重匹配得分和步骤S4的素描重匹配得分进行融合；

S6、寻找步骤S5融合后匹配得分最大的图像，并将图像映射到候选图像中确定目标的位置。

具体的，步骤S2具体为：

S201、将响应图r上采样到候选图像的尺寸得到大小为255×255的响应图R₀；然后采用核大小为11×11的最大值滤波器对响应图R₀进行最大值滤波得到响应图R₁；