[发明专利]基于双光孪生网络决策级目标跟踪方法、系统及存储介质

说明书

本发明公开了一种基于双光孪生网络决策级目标跟踪方法、系统及存储介质。本发明以孪生候选区域生成网络为基础框架，利用生成对抗网络生成伪红外图像数据集对其进行训练，解决了红外图像样本匮乏的问题，提高了网络对红外特征提取的能力。另外，本发明以上下文约束条件设计可见光分支跟踪和伪红外分支跟踪的融合跟踪策略，解决了对弱光或光照不均引起的跟踪困难的问题，避免了跟踪漂移，使跟踪过程更为鲁棒，跟踪精度更为准确。

技术领域

本发明涉及计算机视觉处理领域，尤其是一种基于双光孪生网络决策级目标跟踪方法、系统，以及一种计算机可读存储介质。

背景技术

目标跟踪已经成为计算机视觉领域重要的研究方向和研究热点，可应用于精确制导武器、无人机侦察监视等军事领域，也可应用于机器人导航、人机交互，行人与车辆的视频监控等民用领域。将多源传感器进行数据或信息融合可以实现单一传感器无法获得的目标跟踪效果，提升目标跟踪性能，而其中最典型的是红外与可见光的融合跟踪。在可见光条件下，传感器通常获取目标的反射特性，即目标的颜色、纹理等特征，采用高分辨成像器件更利于获取目标的细节信息，现有技术中，也较为常见基于可见光的基准方法的目标跟踪方法，例如文献“High Performance Visual Tracking with Siamese Region ProposalNetwork，Bo Li、Junjie Yan、Wei Wu等[1]”；而在红外条件下，传感器通常获取目标的热辐射特性，即目标的温度特征(与环境对比度较明显)，便于探测目标，可以避免光照不均及阴影等因素的影响，特别是在弱光条件下具有天然的优势。红外与可见光融合跟踪同时具备双波段各自的优势。目前，红外与可见光融合跟踪大多仍采用传统方法，基于深度学习的目标跟踪大多针对可见光条件下自然图像的目标跟踪，针对红外条件下的目标跟踪研究不多。

近年来，孪生网络以其均衡的精度和速度在跟踪界引起了极大的关注。通过将目标跟踪定义为匹配问题，孪生跟踪方法旨在从大量视频中离线学习通用的相似函数，提高了跟踪精度和跟踪速度，在基于深度学习的目标跟踪方法中取得了很大进展。

数据对于深度学习模型是十分重要的，也是热红外目标追踪最缺少的。对于热红外图像来说，没有大型图像分类数据集进行模型训练，所以热红外目标追踪算法使用深度学习模型提取的特征并不能带来明显的性能提升。这也是现阶段热红外目标跟踪算法仍然使用人工特征的原因。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于双光孪生网络决策级目标跟踪方法，以解决现有基于可见光的目标跟踪方法对目标跟踪准确率不高、稳健性不好的问题。

本发明采用的技术方案如下：

一种基于双光孪生网络决策级目标跟踪方法，包括：对于视频每一帧图像，均执行可见光分支跟踪；

可见光分支跟踪：将可见光图像输入基于深度学习的可见光孪生网络跟踪模型，分别提取模板区域的可见光跟踪模板特征、目标搜索区域的可见光跟踪目标特征；将可见光跟踪模板特征及可见光跟踪目标特征输入候选区生成网络，得到可见光跟踪置信图；根据可见光跟踪置信图计算可见光跟踪置信度；在可见光跟踪置信度不满足约束条件时，执行伪红外分支跟踪；

伪红外分支跟踪：利用预训练的生成对抗网络模型将当前帧图像转换为伪红外图像，所述预训练的生成对抗网络用于将可见光图像转换为伪红外图像；采用预训练的孪生候选区生成网络提取该伪红外图像上模板区域的伪红外跟踪模板特征、目标搜索区域的伪红外跟踪目标特征，对伪红外跟踪模板特征和伪红外跟踪目标特征进行互相关特征匹配，得到伪红外跟踪置信图；根据伪红外跟踪置信图计算出伪红外跟踪置信度；用于训练所述孪生候选区生成网络的训练样本集，由所述预训练的生成对抗网络模型生成；

将可见光跟踪置信图和伪红外跟踪置信图进行融合，取融合的置信图中置信度最大的位置，映射到原始图像，得到目标跟踪结果。