[发明专利]一种视频多目标跟踪方法及系统

权利要求书

1.一种视频多目标跟踪方法，其特征在于，包括如下步骤：

S110，将含有待跟踪目标的视频抽取为连续的视频帧，并通过孪生网络学习视频帧之间的时序信息；

S120，通过深度卷积神经网络基于所述连续的视频帧和时序信息提取待跟踪目标的多尺度目标特征；

S130，基于所述多尺度目标特征检测目标的位置，得到目标位置检测结果；

S140，基于所述多尺度目标特征学习目标的外观特征，并根据目标位置检测结果进行筛选，得到有效的目标外观特征描述向量；

S150，基于目标外观特征描述向量，计算当前视频帧与预设时间内的历史视频帧之间的目标外观特征相似度；基于目标位置检测结果，计算目标检测位置与目标预测位置之间的距离作为目标运动特征相似度；将目标外观特征相似度和目标运动特征相似度的乘积作为目标与轨迹之间的相似度，确定各个目标与轨迹之间的最佳匹配关系，得到多目标的跟踪结果。

2.根据权利要求1所述的视频多目标跟踪方法，其特征在于，所述步骤S110具体包括如下步骤：

S110.1，将视频逐帧拆解，得到连续的视频帧，并根据标注信息得到目标位置和跟踪ID；

S110.2，在同一视频的预设时间内随机抽取两视频，并根据跟踪ID生成两视频帧目标之间的关联矩阵；

S110.3，将随机抽取的两视频帧进行图像增强，然后进行图像信息标准化，最后输入孪生网络使其学习两视频帧之间的时序信息。

3.根据权利要求2所述的视频多目标跟踪方法，其特征在于，所述步骤S120具体包括如下步骤：

S120.1，将随机抽取的两视频帧输入到深度卷积神经网络；

S120.2，在深度卷积神经网络的不同预设层分别提取不同下采样倍数的深度卷积特征，并采用特征金字塔FPN结构将提取的特征融合，得到多尺度目标特征。

4.根据权利要求1或3所述的视频多目标跟踪方法，其特征在于，所述步骤S130具体包括如下步骤：

S130.1，将所述多尺度目标特征输入目标检测模块，以使目标检测模块对多尺度目标特征进行适应性目标检测学习；

S130.2，将目标检测模块的输出划分为多个目标检测区域，每个目标检测区域检测落在其中的目标，得到落在其中的目标类别和目标位置。

5.根据权利要求1或3所述的视频多目标跟踪方法，其特征在于，所述步骤S140具体包括如下步骤：

S140.1，将所述多尺度目标特征输入目标跟踪模块，以使目标跟踪模块对多尺度目标特征进行适应性目标跟踪学习；

S140.2，将目标跟踪模块的输出划分为多个目标跟踪区域，每个目标跟踪区域生成此区域内目标的外观特征描述向量；

S140.3，根据两视频帧图像中各自的目标外观特征描述向量，使用向量内积计算两两目标之间的相似度，得到相似度矩阵；并根据两视频帧图像目标标注信息，生成目标关联矩阵；

S140.4，使用FocalLoss分别按行和列计算相似度矩阵和目标关联矩阵之间的距离，用于约束目标跟踪模块的学习方向，使得目标跟踪模块学习到有效的目标外观特征描述向量。

6.根据权利要求1或3所述的视频多目标跟踪方法，其特征在于，所述步骤S150具体包括如下步骤：

S150.1，根据目标外观特征描述向量，使用向量内积计算当前视频帧内目标与预设时间内的历史视频帧内目标之间的目标外观特征相似度；

S150.2，使用卡尔曼滤波对目标运动轨迹建模，计算目标检测位置和目标预测位置之间的距离作为目标运动特征相似度；

S150.3，计算目标外观特征相似度和目标运动特征相似度的乘积作为目标与轨迹之间的相似度，使用匈牙利算法确定目标与轨迹之间的最佳匹配关系，得到多目标的跟踪结果。