[发明专利]融合卷积神经网络和特征相似度学习的多目标跟踪方法

说明书

本发明涉及一种融合卷积神经网络和特征相似度学习的多目标跟踪方法，包括以下步骤：步骤S1:获取含有多个目标的视频序列图像和每帧图像对应的标签，预处理后分成训练集和测试集；步骤S2:构建卷积神经网络并预训练；步骤S3:将训练集和测试集输入到卷积神经网络中，提取图像中目标的特征向量；步骤S4:根据得到的特征向量，采用相似度函数计算相似度，构建相似度矩阵；步骤S5:根据得到的相似度矩阵，并根据贪心算法实现跨帧匹配目标从而实现多目标跟踪。本发明有效提高匹配的准确率和跟踪的准确率。

技术领域

本发明涉及计算机视觉领域，具体涉及一种融合卷积神经网络和特征相似度学习的多目标跟踪方法。

背景技术

多目标跟踪是一项计算机视觉任务，目的是为了跟踪视频序列中的前景目标，比如行人、汽车、动物等等。多目标跟踪关键是将视频序列中的同一目标关联起来，并赋予同一身份编号。现有的多目标跟踪方法通过计算相邻帧中目标之间的空间接近度来进行跨帧关联，从而实现跟踪。然而，当图像中目标数量多且拥挤的情况下，目标之间的空间接近度容易出现混淆等问题，从而降低跟踪的准确率。

发明内容

有鉴于此，本发明的目的在于提供一种融合卷积神经网络和特征相似度学习的多目标跟踪方法，有效提高多目标跟踪准确率。

为实现上述目的，本发明采用如下技术方案：

一种融合卷积神经网络和特征相似度学习的多目标跟踪方法，包括以下步骤：

步骤S1:获取含有多个目标的视频序列图像和每帧图像对应的标签，预处理后分成训练集和测试集；

步骤S2:构建卷积神经网络并预训练；

步骤S3：将训练集和测试集输入到卷积神经网络中，提取图像中目标的特征向量；

步骤S4：根据得到的特征向量，采用相似度函数计算相似度，构建相似度矩阵；

步骤S5：根据得到的相似度矩阵，并根据贪心算法实现跨帧匹配目标从而实现多目标跟踪。

进一步的，所述预处理具体为：将输入图像的大小统一为m×n，其中，m是输入图像的行数，n是输入图像的列数。

进一步的，所述步骤S2具体为：基于Pytorch或TensorFlow训练一个结构为卷积层1-池化层1-卷积层2-池化层2-......-卷积层x-池化层x-全连接层的前向传输的卷积神经网络作为主干网络；

输入层：由于输入的是一个m×n的彩色图像，其在二维空间上的维度是m×n；一个像素点相当于一个神经元，故输入层的维度就是三维[m×n，3]；

卷积层1：若卷积层的尺寸是(2m₁+1)×(2m₁+1)，卷积深度为n₁，设定步长为s₁；相当于用n₁个(2m₁+1)×(2m₁+1)的滑动窗口以步长s₁与输入图像在该窗口下的像素相卷积，得到的图像大小为[m，n，n₁]；

池化层1：设定池化步长为s₁、池化尺寸为m₂×m₂、池化方式：最大池化或平均池化；若采用最大池化，则以步长s₁在尺寸为m₂×m₂的滑动窗口扫描卷积层1得到的图像像素，存储该窗口下的最大值；若为平均池化，则以步长s₁在尺寸为m₂×m₂的滑动窗口扫描卷积层1得到的图像像素，存储该窗口下的像素平均值；故该层池化后得到的图像大小为

进一步的，所述步骤S3具体为：