[发明专利]融合卷积神经网络和特征相似度学习的多目标跟踪方法

权利要求书

1.一种融合卷积神经网络和特征相似度学习的多目标跟踪方法，其特征在于，包括以下步骤：

步骤S1：获取含有多个目标的视频序列图像和每帧图像对应的标签，预处理后分成训练集和测试集；

步骤S2：构建卷积神经网络并预训练；

步骤S3：将训练集和测试集输入到卷积神经网络中，提取图像中目标的特征向量；

步骤S4：根据得到的特征向量，采用相似度函数计算相似度，构建相似度矩阵；

步骤S5：根据得到的相似度矩阵，并根据贪心算法实现跨帧匹配目标从而实现多目标跟踪。

2.根据权利要求1所述的融合卷积神经网络和特征相似度学习的多目标跟踪方法，其特征在于，所述预处理具体为：将输入图像的大小统一为m×n，其中，m是输入图像的行数，n是输入图像的列数。

3.根据权利要求2所述的融合卷积神经网络和特征相似度学习的多目标跟踪方法，其特征在于，所述步骤S2具体为：基于Pytorch或TensorFlow训练一个结构为卷积层1-池化层1-卷积层2-池化层2-......-卷积层x-池化层x-全连接层的前向传输的卷积神经网络作为主干网络；

输入层：由于输入的是一个m×n的彩色图像，其在二维空间上的维度是m×n。一个像素点相当于一个神经元，故输入层的维度就是三维[m×n，3]；

卷积层1：若卷积层的尺寸是(2m₁+1)×(2m₁+1)，卷积深度为n₁，设定步长为s₁；相当于用n₁个(2m₁+1)×(2m₁+1)的滑动窗口以步长s₁与输入图像在该窗口下的像素相卷积，得到的图像大小为[m，n，n₁]；

池化层1：设定池化步长为s₁、池化尺寸为m₂×m₂、池化方式：最大池化或平均池化；若采用最大池化，则以步长s₁在尺寸为m₂×m₂的滑动窗口扫描卷积层1得到的图像像素，存储该窗口下的最大值；若为平均池化，则以步长s₁在尺寸为m₂×m₂的滑动窗口扫描卷积层1得到的图像像素，存储该窗口下的像素平均值；故该层池化后得到的图像大小为

4.根据权利要求1所述的融合卷积神经网络和特征相似度学习的多目标跟踪方法，其特征在于，所述步骤S3具体为：

步骤S31：将输入的训练集输入到预训练好的卷积神经网络中进行检测出图像中的目标，目标检测置信度和提取出目标对应的特征向量；

步骤S32：将步骤S24所述的特征向量以视频帧的序号划分，设定表示第t帧中身份号为i的目标的特征向量；

步骤S33：使用聚焦三元组损失进一步训练预训练后的卷积神经网络；

步骤S34：保存该卷积神经网络的各项权重值；

步骤S35：将测试集的图像输入到步骤S34中得到的卷积神经网络，并输出网络最终检测出图像中的目标，目标检测置信度和提取出目标对应的特征向量。

5.根据权利要求4所述的融合卷积神经网络和特征相似度学习的多目标跟踪方法，其特征在于，所述聚焦三元组损失L_tra，由亲和度损失L_aff和三元组损失L_tri构成，具体为：

L_tra＝L_aff+L_tri#

其中||·||₂表示欧氏距离方程；D表示第t+1帧的目标ID合集，T表示第t+1帧的目标ID合集，；表示第t时刻跟踪目标i的特征向量。i，j，q分别表示不同的目标的ID。