[发明专利]一种视频多目标跟踪方法及系统

说明书

本发明提供一种视频多目标跟踪方法及系统，将含有待跟踪目标的视频抽取为连续的视频帧，并通过孪生网络学习帧之间的时序信息；通过深度卷积神经网络基于连续的视频帧和时序信息提取待跟踪目标的多尺度目标特征；基于多尺度目标特征得到目标位置检测结果，以及有效的目标外观特征描述向量；基于目标外观特征描述向量，计算当前视频帧与预设时间内的历史视频帧之间的外观特征相似度；基于目标位置检测结果，计算运动特征相似度；将外观特征相似度和运动特征相似度的乘积作为目标与轨迹之间的相似度，确定各个目标与轨迹之间的最佳匹配关系，得到多目标的跟踪结果。本发明在保证领先的跟踪性能的基础上，大幅度提升了跟踪速度，具有很高的应用价值。

技术领域

本发明属于计算机视觉与模式识别领域，更具体地，涉及一种视频多目标跟踪方法及系统。

背景技术

计算机视觉是赋予机器视觉能力的一门科学，通过一系列的图像处理技术，使得计算机对输入的图像或者视频具备一定的识别分析能力，在一定领域达到甚至超越人类。近年来，随着科学技术的不断发展与进步，越来越多的智能设备如电脑、手机、视频监控走进人们的生活，海量视频数据的不断涌现和硬件计算能力的不断提升，为计算机视觉的飞速发展奠定了基础，同时也带来了巨大的机遇和挑战。多目标跟踪的目的是在视频序列中同时跟踪多个目标，在空间上输出目标在每一帧图像中的位置，在时间上维持帧与帧之间目标身份一致性，并最终给出多个目标的运动轨迹。多目标跟踪可以为行为分析、内容理解、事件预警等高层视觉任务提供支持，有着广泛的应用价值。

根据算法在进行目标匹配过程中使用的视频帧信息，可以将多目标跟踪算法分为离线多目标跟踪和在线多目标跟踪。其中离线多目标跟踪使用整个视频中的信息完成数据关联，通常使用优化问题来解决，比如最小代价流、最小多割图等。而在线多目标跟踪仅使用当前帧之前的视频帧进行目标跟踪，常见的有判断可信度的相关滤波算法、以及多维分配算法(Multidimensional Assignment，MDA)。早在20世纪70年代，相关滤波技术就已应用在单目标跟踪研究中，基于相关滤波的多目标跟踪方法的主要思路是利用之前已经获得的目标先验知识，通过状态转移模型对目标接下来的状态进行预测，然后根据当前观测状态对预测模型进行修正。后来，一些文章通过初始化多个单目标跟踪器实现了对视频中多个目标的跟踪，但仍会存在跟踪速度慢、容易发生跟踪漂移等问题。随着深度学习的发展，基于深度卷积神经网络的特征提取模式逐渐代替了传统的手工特征，并取得了更好的跟踪精度。近年来目标检测领域的快速发展，使得基于目标检测的视频多目标跟踪方法取得了突破性的进展。首先通过预训练的目标检测器确定每一帧中目标位置，然后将其作为网络输入，使用深度卷积网络生成目标描述向量，计算帧与帧之间的目标相似度，最后将数据关联看作多维分配问题，使用匈牙利算法等完成目标与目标之间的在线匹配，以实现多目标跟踪。

虽然深度学习的发展为多目标跟踪技术带来了新的方向，但是跟踪场景的复杂性，以及当前算法的不够完善，使其在实际应用方面受到诸多限制。通常，基于目标检测的视频多目标跟踪算法可以分为三个阶段：特征提取、相似度计算、数据关联。当前跟踪算法在各个阶段主要面临以下问题：目前视频多目标跟踪算法多以目标检测器的输出作为输入，在整体上难以实现对视频内容的实时跟踪处理。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种视频多目标跟踪方法及系统，旨在解决当前视频目标跟踪方法难以做到实时跟踪的问题。

为实现上述目的，第一方面，本发明提供一种视频多目标跟踪方法，包括如下步骤：

S110，将含有待跟踪目标的视频抽取为连续的视频帧，并通过孪生网络学习视频帧之间的时序信息；

S120，通过深度卷积神经网络基于所述连续的视频帧和时序信息提取待跟踪目标的多尺度目标特征；

S130，基于所述多尺度目标特征检测目标的位置，得到目标位置检测结果；