[发明专利]一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法

权利要求书

1.一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法，其特征在于，所述方法包括以下步骤：

(1)选择视觉目标跟踪训练集，根据图像中目标的所在位置，在原始训练集中裁剪出目标模板图像和搜索区域图像，裁剪出的图像对构成了训练数据集；

(2)搭建全卷积孪生网络提取图像特征，所述全卷积孪生网络包含两个架构完全相同的分支网络，分别是提取目标模板图像特征的分支网络和提取搜索区域图像特征的分支网络，这两个分支网络的输出层做深度互相关运算得到一张响应图，响应图降维后作为分类回归网络的输入；

(3)搭建分类回归网络，全卷积孪生网络生成的响应图作为分类回归网络的输入，分类回归网络包含两个分支，分别是进行分类分支网络和回归分支网络，分类分支网络输出相应像素点属于目标区域的概率，回归分支网络输出四条包围框与对应像素点间的距离；

(4)全卷积孪生网络产生的响应图在经过分类回归网络后，响应图上的每个像素点都有对应的前景得分和预测的包围框，结合前景得分和包围框的信息，计算每个像素点的总得分，总得分最高的像素点是跟踪目标的中心；

(5)使用训练数据集，训练全卷积孪生网络和分类回归网络，获得训练好的全卷积孪生网络和分类回归网络，使用训练好的网络计算待测图像序列中目标的得分图，基于得分图进行目标定位。

2.如权利要求1所述的一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法，其特征在于，所述步骤(1)中，用于训练的数据集有：COCO，ImageNet DET，ImageNet VID或者YouTube-BB。

3.如权利要求1或2所述的一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法，其特征在于，所述步骤(2)中，全卷积孪生网络包括两个分支，分别是：a)以目标模板图像Z作为输入的目标分支；b)以搜索区域图像X作为输入的搜索分支，这两个分支的主干网络结构相同、共享参数，两个分支输出的特征图分别表示为和在上执行以为核的深层互相关运算，得到嵌有两个分支信息的响应图R，降维后的响应图R*作为分类回归子网络的输入。

4.如权利要求1或2所述的一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法，其特征在于，所述步骤(3)中，响应图R*上的位置(i,j)能在输入的搜索区域中映射为(x,y)，对搜索区域上的像素进行前景、背景分类并回归出目标包围框，用端到端的全卷积操作完成相关的训练，所述任务被拆解成两个子任务：a)分类分支网络，用于计算响应图R*上每个像素点属于前景、背景的概率；b)回归分支网络，用于计算响应图R*上每个像素对应的目标包围框。

5.如权利要求1或2所述的一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法，其特征在于，所述步骤(4)中，在分类回归网络的基础上对响应图R*上的每个位置计算总得分，在跟踪过程中，相邻帧之间包围框的大小和宽高比只有微小的变化，引入了尺寸变化惩罚p_i,j，结合p_i,j对分类分支的得分重新进行排序，把总得分最高的像素位置记做目标中心，按得分排序在目标中心附近取k个像素点，把目标中心像素和k个像素点的包围框进行加权平均运算，计算结果是最终的目标包围框。

6.如权利要求1或2所述的一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法，其特征在于，所述步骤(5)的过程如下：

5.1)在待测图像序列中，根据第一帧给定目标所在位置，剪裁出目标模板图像，将第一帧的目标模板图像输入到训练好的全卷积孪生网络的目标模板分支网络中，得到目标模板图像的特征图M₁，此时，t＝2；

5.2)根据待测图像序列的第t-1帧图像的目标框所在位置，剪裁出第t帧图像的搜索区域图像，将第t帧的搜索区域图像输入到训练好的全卷积孪生网络的搜索区域分支中，获得第t帧图像的搜索区域图像特征图；

5.3)将第t-1帧的目标模板特征图和第t帧的搜索区域图像特征图对应层进行深度互相关运算，得到响应图R*，响应图R*输入到分类回归网络中，计算出目标在第t帧的搜索区域图像内的得分图；

5.4)根据第t帧的最终得分图计算目标在第t帧图像中的目标位置；

5.5)令t＝t+1，重复执行步骤5.2)-5.5)，直至待测图像序列目标跟踪结束，即t＝N，其中，N为待测图像序列的总帧数。