[发明专利]一种基于双路孪生网络的视频运动目标跟踪方法及装置

说明书

本发明涉及一种基于双路孪生网络的视频运动目标跟踪方法及装置，跟踪方法包括以下步骤：分别搭建语义网络和外观网络，组合构成双路孪生网络，利用语义网络提取语义信息，利用外观网络提取外观信息；对所述语义网络的网络结构进行调整，并在所述语义网络中内嵌注意力模块；在所述外观网络中添加空间掩膜、以提高外观网络提取目标的聚焦能力；对语义网络和外观网络分别单独训练；对目标尺度与旋转角度进行混合预测，最终确定被跟踪目标的位置。本发明针对外观与语义，分而治之，搭建2个不同的网络，让其各司其职，使得模型的学习表现更强，因此可以提升跟踪器的精度，同时，可以减缓跟踪器因为相似目标而导致的漂移问题。

技术领域

本发明涉及一种基于双路孪生网络的视频运动目标跟踪方法及装置，涉及预测目的的数据处理系统或方法领域。

背景技术

基于双路孪生网络的视频运动目标跟踪技术可以实现对物体的视频跟踪，可以应用于视频监控，安防，目标行为轨迹分析，人机交互，自动驾驶等领域。

现有的基于相关滤波的跟踪器，如果使用深度特征，由于在线模型更新，导致跟踪速度很慢，无法满足实时性要求；而基于单路孪生网络的跟踪算法，普遍使用同一个网络同时学习目标的语义和外观特性，学习的目标不明确。

发明内容

发明目的：提出一种基于双路孪生网络的视频运动目标跟踪方法及装置，以解决现有技术存在的上述问题，提升跟踪器精度的同时减缓跟踪器因为相似目标而导致的漂移问题。

技术方案：第一方面，提供了一种基于双路孪生网络的视频运动目标跟踪方法，该方法包括以下步骤：

分别搭建语义网络和外观网络，组合构成双路孪生网络，利用语义网络提取语义信息，利用外观网络提取外观信息；单路孪生网络使用同一个网络提取目标最后一个卷积层输出的语义特征，忽略了目标的外观信息，然而，目标的外观信息对于目标的识别也有着重要的作用，因此步骤1建立双路孪生网络，分别提取目标的外观信息和语义信息。

对所述语义网络的网络结构进行调整，并在所述语义网络中内嵌注意力模块；使得跟踪器可以受益于深层网络的强力特征，跟踪成功率取得大幅提升；当背景存在许多干扰物导致跟踪器容易漂移时，利用内嵌的注意力模块进一步加强困难场景下特征的鲁棒性。

在所述外观网络中添加空间掩膜、以提高外观网络提取目标的聚焦能力；针对目标长宽比远大于1的模板图像，在经过外观网络提取得到最后一层特征图时添加掩模，以抑制其他干扰物体，使得外观网络提取的目标特征会更聚焦于目标自身，减轻其他显著物体的干扰。

对语义网络和外观网络分别单独训练，只有在跟踪测试的时候才依据各自的APCE值进行加权融合，这样可以保证，在训练时，语义网络负责就只负责目标的学习语义信息，外观网络也只负责学习目标的外观信息，不会相互影响。

对目标尺度与旋转角度进行混合预测，最终确定被跟踪目标的位置。

在第一方面的一些可实现方式中，利用外观网络提取外观信息的过程为：提取被跟踪物体的语义信息和外貌信息，得到两个响应图，分别对应于语义支路的输出响应图和外观分支的输出响应图；利用平均峰值相关能量衡量响应图准确度的指标：

式中，表示语义支路的输出响应图和外观分支的输出响应图中的最大值，表示语义支路的输出响应图和外观分支的输出响应图中的最小值，表示处于语义支路的输出响应图和外观分支的输出响应图中点的响应值，APCE表示平均峰值相关能量，表示求括号内的数组平均值；

对语义支路与外观支路得到的2个特征图按各自的APCE指标进行加权相加，得到最终的响应图：