[发明专利]基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统

权利要求书

1.基于多层特征融合的卷积孪生网络的目标跟踪方法，其特征在于，该方法包括以下步骤：

(1)根据图像的目标位置和大小，裁剪出图像序列训练集中的所有图像的目标模板图像和搜索区域图像，目标模板图像和搜索区域图像组成的图像对构成训练数据集；

(2)构建基于多层特征融合的卷积孪生网络，所述基于多层特征融合的卷积孪生网络包含2个完全相同的第一分支卷积网络和第二分支卷积网络，所述第一分支卷积网络用于获取搜索区域图像的特征图，所述第二分支卷积网络用于获取目标模板图像的特征图，两分支网络在指定层特征图上有连接，目标模板图像的特征图和搜索区域图像的特征图的对应层分别做互相关运算，得到对应的得分图；

(3)基于所述训练数据集，训练所述基于多层特征融合的卷积孪生网络，获得训练好的基于多层特征融合的卷积孪生网络；

(4)使用训练好的基于多层特征融合的卷积孪生网络计算待测图像序列中图像的得分图，基于得分图进行目标跟踪；

步骤(2)包括：

搜索区域图像输入第一分支卷积网络，通过Conv1得到第一层特征图SFM₁，接着通过Pool1、Conv2层得到第二层特征图SFM₂，最后通过Pool2、Conv3、Conv4、Conv5得到第三层特征图SFM₃；

目标模板图像输入到第二分支卷积网络，通过Conv1得到第一层特征图GFM₁，接着通过Pool1、Conv2得到第二层特征图GFM₂，最后通过Pool2、Conv3、Conv4、Conv5得到第三层特征图GFM₃；

将目标模板特征图和搜索区域图像特征图对应层分别做互相关运算，得到对应的三张得分图SM₁、SM₂、SM₃，公式如下：

SM_i＝GFM_i*SFM_i

其中，i分别取1、2、3，*为互相关运算。

2.如权利要求1所述的目标跟踪方法，其特征在于，步骤(1)包括：

目标模板图像的裁剪方法为：以目标区域为中心的目标矩形框，以目标区域中心位置代表目标位置，在目标矩形框四边分别扩充p个像素，若矩形框超出图像边界，超出部分用图像均值像素填充，最后将裁剪的目标图像块尺寸缩放至127×127大小；

搜索区域图像的裁剪方法为：以目标区域为中心，在目标矩形框四边分别扩充2p个像素，若矩形框超出图像边界，超出部分用图像均值像素填充，最后将裁剪的搜索区域图像块尺寸缩放至255×255大小；

其中，p＝(w+h)/4，w为目标矩形框宽像素，h为目标矩形框长像素。

3.如权利要求1所述的目标跟踪方法，其特征在于，步骤(3)中构建的联合损失函数L(y,v)计算公式如下：

L(y,v)＝α₁L₁(y,v₁)+α₂L₂(y,v₂)+α₃L₃(y,v₃)

l(y[u],v_i[u])＝log(1+exp(y[u]×v_i[u]))

其中，L_i为得分图SM_i的损失函数，y[u]表示得分图中点u的真实标签，为得分图SM_i中每个点的对数损失函数，α_i为得分图SM_i的权重，0＜α₁＜α₂＜α₃≤1，D_i表示得分图SM_i的中所有点的集合，u为得分图中的点，c_i为得分图SM_i的中心点，R_i是得分图SM_i的半径，k_i为得分图SM_i的步幅，v_i[u]为得分图SM_i中u点对应的值，|| ||代表欧氏距离，i＝1,2,3。