[发明专利]一种基于孪生网络的针对模糊目标的跟踪方法

权利要求书

1.一种基于孪生网络的针对模糊目标的跟踪方法，其特征在于，包括以下步骤：

步骤1：根据清晰图像集生成模糊图像集，分别对清晰图像集、模糊图像集进行预处理，得到预处理后清晰图像集和预处理后模糊图像集；

步骤2：构建去模糊对抗生成网络，通过对抗损失、内容损失构建去模糊对抗生成网络的总损失函数，结合预处理后清晰图像集以及预处理后模糊图像来训练去模糊对抗生成网络，得到训练后去模糊对抗生成网络；

步骤3：通过多个图像序列构建训练样本，通过人工标记法对图像序列中图像标记目标矩形框；

步骤4：训练样本中每幅图像根据目标区域的图像尺寸进行截取得到目标区域样本，训练样本中每幅图像根据搜索区域的图像尺寸进行截取得到搜索区域样本，将搜索区域样本中每幅图像的像素点标记出是否为目标位置；

步骤5：通过目标区域分支以及搜索区域分支构建孪生网络，根据相似度分数矩阵构建孪生网络的损失函数，通过目标区域样本以及搜索区域样本进行训练得到训练后孪生网络；

步骤6：将待跟踪图像序列通过训练后去模糊对抗生成网络以及训练后跟踪孪生网络进行图像跟踪，得到待跟踪图像序列的目标坐标位置；

步骤2所述去模糊对抗生成网络由生成器、判别器构成；

所述生成器包含：卷积层、归一化层、激活函数层；

所述生成器的输入为预处理后模糊图像集即P_blurry(B)，若B属于模糊图像集中的图像，即B∈P_blurry(B)，B经过生成器得到的图像记为G(B)；

所述判别器包含：卷积层、归一化层、激活函数层；

所述判别器的输入为生成器生成的图像G(B)，或者清晰的图像S，其中S∈P_sharp(S)，最后得到长宽尺寸为m的矩阵；

步骤2所述对抗损失通过Wasserstein距离来定义，具体如下；

其中，S属于清晰图像集中的图像，S～P_sharp(S)表示S穷举清晰图像集所有图像；B属于模糊图像集中的图像，B～P_blurry(B)表示B穷举模糊图像集所有图像；D(S)表示判别器对图像S的输出，D(G(B))表示判别器对所生成图像G(B)的输出，E表示期望值；

步骤2所述内容损失使用L2距离进行定义，即均方误差来定义，具体如下：

L_mse＝||S-G(B)||²

步骤2所述去模糊对抗生成网络的总损失定义为：

L＝L_adv+100L_mse

通过最小化损失函数L来对模型进行训练，根据梯度下降法得到去模糊对抗生成网络的weight，即可完成步骤2所述训练后去模糊对抗生成网络的构建。