[发明专利]一种基于孪生网络的针对模糊目标的跟踪方法

说明书

本发明提出了一种基于孪生网络的针对模糊目标的跟踪方法。本发明根据清晰图像集生成模糊图像集，并分别进行预处理；构建去模糊对抗生成网络，通过对抗损失、内容损失构建网络的损失函数，结合预处理后清晰图像集以及模糊图像集进行训练，得到训练后去模糊对抗生成网络；通过对多个标注好的图像序列进行预处理构建训练样本，构建跟踪孪生网络，定义损失函数并进行训练，得到训练后跟踪孪生网络；组合去模糊对抗生成网络和跟踪孪生网络，对图像序列进行跟踪，得到相似度分数矩阵，通过矩阵中最大值计算出目标的位置坐标。本发明提高了在模糊场景下的跟踪精度，并在实际的模糊场景中表现出良好的鲁棒性。

技术领域

本发明涉及深度学习和计算机视觉技术，具体涉及一种基于孪生网络的针对模糊目标的跟踪方法。

背景技术

视觉跟踪在计算机视觉中起着至关重要的作用。它是智能视频监视，现代军事，智能交通和视觉导航领域中许多高级应用程序的重要组成部分。尽管跟踪问题已经研究了很长时间，但是由于跟踪问题的复杂性以及诸如变形、照明变化、比例变化、遮挡、背景杂乱和运动模糊等外部挑战，使得跟踪仍然是一项非常困难的任务。过去，人们一直在努力建立鲁棒的外观模型以进行跟踪，以解决变形、比例尺变化和遮挡的问题。但是，大多数现有的跟踪算法并未明确考虑视频序列中包含的运动模糊。实际上，运动模糊是一个常见的问题，尤其是在诸如无人机或吊舱之类的应用中，运动模糊很可能与其他挑战一起出现，这会降低这些应用场景中跟踪算法的性能。

近年来，由于去模糊算法和跟踪技术在深度学习方向上的发展，将去模糊方法应用到跟踪领域变成可能。首先，对抗生成网络已经运用到去模糊算法上并取得良好的效果。而孪生网络由于其稳定性、准确性和速度快的优势，在跟踪领域应用很广泛。由于对抗生成网络和孪生网络的优势，我们将生成网络应用到跟踪系统中用以提高对模糊目标跟踪的性能。

发明内容

本发明所要解决的技术问题是，提高跟踪器对模糊目标跟踪的性能，提出了一种基于孪生网络的目标跟踪方法，通过将对抗生成网络和孪生网络有效结合，提高跟踪器对模糊目标跟踪时的精读及鲁棒性，从而有效解决上述问题。

为了实现上述目的，本发明提供了一种基于孪生网络的针对模糊目标的跟踪方法，包括以下步骤：

步骤1：根据清晰图像集生成模糊图像集，分别对清晰图像集、模糊图像集进行预处理，得到预处理后清晰图像集和预处理后模糊图像集；

步骤2：构建去模糊对抗生成网络，通过对抗损失、内容损失构建去模糊对抗生成网络的总损失函数，结合预处理后清晰图像集以及预处理后模糊图像来训练去模糊对抗生成网络，得到训练后去模糊对抗生成网络；

步骤3：通过多个图像序列构建训练样本，通过人工标记法对图像序列中图像标记目标矩形框；

步骤4：训练样本中每幅图像根据目标区域的图像尺寸进行截取得到目标区域样本，训练样本中每幅图像根据搜索区域的图像尺寸进行截取得到搜索区域样本，将搜索区域样本中每幅图像的像素点标记出是否为目标位置；

步骤5：通过目标区域分支以及搜索区域分支构建孪生网络，根据相似度分数矩阵构建孪生网络的损失函数，通过目标区域样本以及搜索区域样本进行训练得到训练后孪生网络；

步骤6：将待跟踪图像序列通过训练后去模糊对抗生成网络以及训练后跟踪孪生网络进行图像跟踪，得到待跟踪图像序列的目标坐标位置。

作为优选，步骤1所述根据清晰图像集生成模糊图像集为：

清晰图像集选择高帧率图像数据集，通过运动模糊退化模型，将清晰图像集中连续M′帧的清晰图像合成为一幅模糊图像，并选取M′帧清晰图像的中间一帧作为相对应的清晰图像。光学感应器的成像信息用如下积分函数表示：