[发明专利]基于双流卷积神经网络的目标跟踪方法、系统、设备及介质

权利要求书

1.基于双流卷积神经网络的目标跟踪方法，其特征在于：所述方法包括：

构建空间流二维卷积神经网络，提取当前帧中图像块的特征信息；

构建时序流三维卷积神经网络，提取一定时序范围内的视频序列中帧与帧之间目标的运动变化特征信息；

加性融合空间流二维卷积神经网络和时序流三维卷积神经网络的特征信息；

根据融合的特征信息，构建全连接子网络，获取符合要求的图像块；

对符合要求的图像块的边界框进行边界框回归，得到当前帧目标的预测位置和大小；

在对目标跟踪前，对空间流二维卷积神经网络和时序流三维卷积神经网络进行线下训练；

在对目标跟踪过程中，对全连接子网络进行线上精调；

所述在对目标跟踪前，对空间流二维卷积神经网络和时序流三维卷积神经网络进行线下训练，具体包括：

构建训练数据集；其中，所述训练数据集为多个跟踪视频序列，每个跟踪视频序列的每一帧有跟踪目标真实边界框的标注；

将当前帧跟踪目标图像批量的T个正样本或F个负样本作为空间流二维卷积神经网络的输入，对空间流二维卷积神经网络进行线下训练；

将N个图像一起作为时序流三维卷积神经网络的输入，对时序流三维卷积神经网络进行线下训练；其中，N-1个图像是在当前帧的前N-1帧中目标所在区域的预测位置和大小，剩下的一个图像是基于当前帧的前一帧中目标所在区域，取该前一帧中目标所在区域中心点不变、长宽各扩大至少两倍的区域，在当前帧截取出的图像；

将空间流二维卷积神经网络和时序流三维卷积神经网络提取出的训练数据经过加性融合后，输入到全连接子网络，通过全连接子网络计算，得到正样本与目标的相似性得分以及负样本与背景的相似性得分；

根据正样本与目标的相似性得分以及负样本与背景的相似性得分，分别计算正样本的损失以及负样本的损失，得到正样本的损失和以及负样本的损失和，从而得到总误差；

将总误差反向传播到空间流二维卷积神经网络和时序流三维卷积神经网络，使用随机梯度下降法更新二维卷积神经网络和时序流三维卷积神经网络的权值，训练直至收敛。

2.根据权利要求1所述的目标跟踪方法，其特征在于：所述构建空间流二维卷积神经网络，提取当前帧中图像块的特征信息，具体包括：

基于当前帧的前一帧中目标邻域，在当前帧进行高斯采样S个图像块，作为空间流二维卷积神经网络的输入；其中，所述空间流二维卷积神经网络包括三个卷积层和两个池化层；

改变三个卷积层对S个图像块四周补零的数量，输出图像特征。

3.根据权利要求1所述的目标跟踪方法，其特征在于：所述构建时序流三维卷积神经网络，提取一定时序范围内的视频序列中帧与帧之间目标的运动变化特征信息，具体包括：

将N个图像一起作为时序流三维卷积神经网络的输入；其中，N-1个图像是在当前帧的前N-1帧中目标所在区域的预测位置和大小，剩下的一个图像是基于当前帧的前一帧中目标所在区域，取该前一帧中目标所在区域中心点不变、长宽各扩大至少两倍的区域，在当前帧截取出的图像，所述时序流三维卷积神经网络包括八个卷积层和五个池化层；

改变八个卷积层对N个图像四周补零的数量，输出图像特征。

4.根据权利要求1所述的目标跟踪方法，其特征在于：所述空间流二维卷积神经网络和时序流三维卷积神经网络最后一个卷积层输出的特征向量形式均为(batch,channel,width,height)；其中，batch表示网络每次处理图像的批次，channel表示图像特征的通道数，width表示图像特征的宽，height表示图像特征的高，并且空间流二维卷积神经网络和时序流三维卷积神经网络输出的batch、width、height数值均相同；

所述加性融合空间流二维卷积神经网络和时序流三维卷积神经网络的特征信息，具体包括：

设在空间流二维卷积神经网络输出的图像特征的通道数是channel₁，时序流三维卷积神经网络输出的特征通道数是channel₂，将空间流二维卷积神经网络和时序流三维卷积神经网络最后一个卷积层输出的特征向量在特征通道方向上进行拼接，拼接后融合特征向量为(batch,channel₁+channel₂,width,height)。