[发明专利]一种基于多重网络的单目标跟踪方法

权利要求书

1.一种基于多重网络的单目标跟踪方法，其特征在于，包括以下步骤：

步骤1)处理视频第一帧和当前帧得到模板图像和待搜索图像；

步骤2)将模板图像和待搜索图像一同输入外观子网和语义子网，分别提取低层外观特征和高层语义特征；

步骤3)将模板图像的低层外观特征和高层语义特征进行融合得到模板图像的融合特征图，同时将待搜索图像的低层外观特征和高层语义特征进行融合得到待搜索图像的融合特征图；

步骤4)对模板图像的融合特征图和待搜索图像的融合特征图，采用相似性判别方法得到模板图像在待搜索图像上的最终响应图；

步骤5)将最终响应图恢复成原图大小，根据最终响应图提供的信息在当前帧中确定跟踪目标的中心点位置以及矩形框大小，进而得到跟踪结果。

2.如权利要求1中所述的处理视频第一帧和当前帧得到模板图像和待搜索图像，其特征在于，步骤1)具体步骤为：

1.1)获得模板图像：本方法中不存在对模板图像的在线更新，第一帧图像只需要进行一次处理即可；将第一帧图像中的跟踪目标根据标注好的矩形框的中心点坐标及宽和高裁剪出需要的大小，得到模板图像；

首先默认跟踪目标的中心点在第一帧图像的中心，第一帧图像的宽和高为w和h，因此在以图像左上角为原点的坐标轴中，跟踪目标中心点的坐标为：(w/2,h/2)；然后裁剪出包含跟踪目标的大小为127×127的区域；最后，新建一个大小为127×127的三通道RGB图像，并将从第一帧图像中裁剪出的区域内的所有像素值复制到新建的三通道RGB图像，即获得模板图像；

1.2)获得待搜索图像：本方法采用多尺度方法应对不同尺度下的目标跟踪；

首先采用预先设置的尺度变化系数σ＝1，并设置尺度基数s_b＝1.0375，得到三种固定尺度(s_b^-σ,s_b⁰,s_b^σ)；根据三种固定尺度对当前帧图像进行尺度变换，得到三幅不同尺度的当前帧图像；并以前一帧跟踪目标为中心，对三幅不同尺度的当前帧图像进行裁剪或者填充，分别得到三幅大小为255×255的待搜索图像，每幅待搜索图像具有不同尺度大小的跟踪目标。

3.如权利要求1中所述的将模板图像和待搜索图像一同输入到外观子网和语义子网中，分别提取低层外观特征和高层语义特征，其特征在于，步骤2)具体步骤为：

2.1)外观子网包括一个卷积神经网络和一个注意力模块，卷积神经网络包括5个卷积层和2个池化层，其中2个池化层分别在第一个卷积层和第二个卷积层的后面，同时注意力模块加在第一个卷积层和对应池化层的中间；

首先，将模板图像和待搜索图像输入外观子网，经过第一层卷积层分别得到第一层特征，然后，将第一层特征输入注意力模块，得到包含注意力的特征，最后将包含注意力的特征输入到网络的后续结构，分别获得模板图像和待搜索图像的低层外观特征；

2.2)语义子网采用预训练的用于分类任务的卷积神经网络AlexNet；和外观子网类似，同样将模板图像和待搜索图像输入语义子网，通过语义子网进行特征提取，分别获得模板图像和待搜索图像的高层语义特征；语义子网从整幅输入图像中提取与跟踪目标同类物体的高层语义特征，防止跟踪器出现类间漂移。

4.如权利要求1中所述的将模板图像的低层外观特征和高层语义特征进行融合得到模板图像的融合特征图，同时也将待搜索图像的低层外观特征和高层语义特征进行融合得到待搜索图像的融合特征图，其特征在于，步骤3)具体步骤为：

3.1)首先，将模板图像的高层语义特征采用双线性插值方法与其低层外观特征进行对齐，并以同样的方式将待搜索图像的高层语义特征与其低层外观特征进行对齐，保证模板图像和待搜索图像的低层外观特征没有特征损失；

3.2)然后，将对齐后的模板图像的高层语义特征与其低层外观特征采用通道叠加的方式进行特征融合，得到模板图像的融合特征图；并以同样的方式将对齐后的待搜索图像的高层语义特征与其低层外观特征进行特征融合，得到待搜索图像的融合特征图；