[发明专利]基于双光孪生网络决策级目标跟踪方法、系统及存储介质

权利要求书

1.一种基于双光孪生网络决策级目标跟踪方法，其特征在于，包括：对于视频每一帧图像，均执行可见光分支跟踪；

可见光分支跟踪：将可见光图像输入基于深度学习的可见光孪生候选区域生成网络模型，分别提取模板区域的可见光跟踪模板特征、目标搜索区域的可见光跟踪目标特征；将可见光跟踪模板特征及可见光跟踪目标特征输入候选区生成网络，得到可见光跟踪置信图；根据可见光跟踪置信图计算可见光跟踪置信度；在可见光跟踪置信度不满足约束条件时，执行伪红外分支跟踪；

伪红外分支跟踪：利用预训练的生成对抗网络模型将当前帧图像转换为伪红外图像，所述预训练的生成对抗网络用于将可见光图像转换为伪红外图像；采用预训练的孪生候选区生成网络提取该伪红外图像上模板区域的伪红外跟踪模板特征、目标搜索区域的伪红外跟踪目标特征，对伪红外跟踪模板特征和伪红外跟踪目标特征进行互相关特征匹配，得到伪红外跟踪置信图；根据伪红外跟踪置信图计算出伪红外跟踪置信度；用于训练所述孪生候选区生成网络的训练样本集，由所述预训练的生成对抗网络模型生成；

将可见光跟踪置信图和伪红外跟踪置信图进行融合，取融合的置信图中置信度最大的位置，映射到原始图像，得到目标跟踪结果。

2.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，所述预训练的生成对抗网络的训练方法为：利用任意的、无需成对的热红外图像与RGB图像作为训练数据，对无监督生成对抗伪红外生成模型CycleGAN进行训练。

3.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，利用所述预训练的生成对抗网络，生成伪红外图像数据集；将生成的伪红外图像作为训练数据集输入孪生候选区域生成网络进行模型训练，得到伪红外跟踪模型。

4.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，所述根据可见光跟踪置信图/伪红外跟踪置信图计算可见光跟踪置信度/伪红外跟踪置信度，包括：选取所述可见光跟踪置信图/伪红外跟踪置信图中最大值作为可见光跟踪置信度/伪红外跟踪置信度。

5.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，所述约束条件为：当前帧图像的可见光跟踪置信度不低于历史所有帧的可见光跟踪置信度的平均值的γ倍，γ取值范围为0.8～1。

6.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，所述将可见光跟踪置信图和伪红外跟踪置信图进行融合，包括：根据可见光跟踪置信图和伪红外跟踪置信图分别设计对可见光跟踪置信度和伪红外跟踪置信度的融合比例系数，根据设计的融合比例系数，对可见光跟踪置信图和伪红外跟踪置信图进行线性融合。

7.如权利要求6所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，所述根据可见光跟踪置信图和伪红外跟踪置信图分别设计对可见光跟踪置信度和伪红外跟踪置信度的融合比例系数，包括：根据所述可见光跟踪置信图的APEC值APEC_vis和所述伪红外跟踪置信图的APEC值APEC_ir，分别设计可见光跟踪置信度的融合比例系数J_vis和伪红外跟踪置信度的融合比例系数J_ir：

J_vis＝APEC_vis/(APEC_vis+APEC_ir)，

J_ir＝1-J_vis。

8.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，对于每一搜索的帧图像，其目标搜索区域为：以上一帧的目标跟踪结果为中心，选择预定尺寸的区域。

9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储有计算机程序，运行该计算机程序可执行如权利要求1～8任一的基于双光孪生网络决策级目标跟踪方法。

10.一种基于双光孪生网络决策级目标跟踪系统，包括处理器，其特征在于，所述处理器连接有如权利要求9所述的计算机可读存储介质，所述处理器运行所述计算机可读存储介质中存储的计算机程序。