[发明专利]图像目标跟踪模型建立方法及图像目标跟踪方法

权利要求书

1.一种图像目标跟踪模型建立方法，其特征在于，包括：

建立深度学习模型，其包括先验分支、位置估计模块以及参数共享的模板分支和搜索分支；所述模板分支、所述搜索分支和所述先验分支分别以模板图像、搜索图像和先验图像为输入，用于对输入图像进行语义编码，分别得到模板特征图、搜索特征图和先验特征图；所述模板图像中目标位置已知，所述先验图像由目标位置已知的图像与对应的目标位置概率分布图堆叠而成，且所述搜索特征图与所述先验特征图形状相同；所述位置估计模块，用于将所述搜索特征图与所述先验特征图逐像素点乘后与所述模板特征图做互相关计算，并将互相关计算结果的倍率恢复至与所述搜索图像相同，得到所述搜索图像中目标位置的概率分布图；

建立训练数据集，其中的每条训练样本包含目标位置已知的第一图像、目标位置概率分布图已知的第二图像和由目标位置已知的图像与对应的目标位置概率分布图堆叠而成的第三图像；

以训练样本中的第一图像、第二图像和第三图像为输入信息，以第二图像的目标位置概率分布图为标签信息，利用所述训练数据集对所述深度学习模型进行训练，从而在训练结束后，得到所述图像目标跟踪模型。

2.如权利要求1所述的图像目标跟踪模型建立方法，其特征在于，利用所述训练数据集对所述深度学习模型进行训练，包括如下步骤：

(S1)建立包含所述模板分支、所述搜索分支和一个互相关计算模块的孪生网络；所述互相关计算模块用于对所述模板分支提取的模板特征图和所述搜索分支提取的搜索分支图进行互相关运算，并将互相关计算结果的倍率恢复至与所述搜索图像相同，得到输入的搜索图像中目标位置的概率分布图；

(S2)利用所述训练数据集对所述孪生网络进行训练，从而在训练结束后，得到所述模板分支和所述搜索分支的参数；

(S3)利用步骤(S2)得到的参数设置所述深度学习模型中的模板分支和搜索分支；

(S4)利用所述训练数据集对已设置模板分支和搜索分支的所述深度学习模型进行训练，在训练过程中，仅更新所述先验分支的参数，而不更新所述模板分支和所述搜索分支的参数。

3.如权利要求2所述的图像目标跟踪模型建立方法，其特征在于，利用所述训练数据集对所述深度学习模型进行训练，在步骤(S4)之后，还包括：

(S5)利用所述训练数据集对经步骤(S1)～(S4)训练后的所述深度学习模型进行二次训练，在训练过程中，对所述模板分支、所述搜索分支、所述先验分支和所述位置估计模块的参数均进行更新。

4.如权利要求3所述的图像目标跟踪模型建立方法，其特征在于，所述步骤(S2)、所述步骤(S4)和所述步骤(S5)中，训练学习率分别记为第一学习率、第二学习率和第三学习率，则所述第一学习率和所述第二学习率的数量级相同，且所述第三学习率相比于所述第二学习率低一个数量级。

5.如权利要求1-4任一项所述的图像目标跟踪模型建立方法，其特征在于，建立所述训练数据集，包括如下步骤：

获得已标注目标位置的图像序列；

若所述图像序列中的标注不连续，则每次从所述图像序列中随机选取3张图像，分别用于构建一条训练样本中的第一图像、第二图像和第三图像；若所述图像序列中的标注连续，则每次从所述图像序列中选取一张图像，并从其后的图像中随机选取两张连续的图像，按顺序分别用于构建一条训练样本中的第一图像、第三图像和第二图像；

构建一条训练样本的方式如下：

以目标位置标注点为中心、按照预设的第一尺寸对图像进行裁剪，将裁剪得到的像素块作为训练样本中的第一图像；

以目标位置标注点为中心、按照预设的第二尺寸对图像进行裁剪，对裁剪得到的像素块进行随机平移，将平移后的像素块作为训练样本中的第二图像，并根据平移后像素块中的目标位置生成与所述位置估计模块的输出图像大小相同的高斯概率分布图；

以目标位置标注点为中心、按照所述第二尺寸对图像进行裁剪，并根据裁剪得到的像素块中的目标位置生成与该像素块大小相同的高斯概率分布图，与该像素块堆叠作为训练样本中的第三图像。