[发明专利]基于深度学习及多任务联合训练的多目标跟踪方法

权利要求书

1.一种基于深度学习及多任务联合训练的多目标跟踪方法，其特征在于，包括：

(1)构建由主干特征提取子网络、多目标完全特征提取子网络、多目标遮挡特征提取子网络和多任务联合模块级联构成的深度神经网络模型；

(2)获取第t帧图像F_t∈R^W×H×3及其中目标边界框标签集合B∈R^n×4，对集合B进行归一化处理得到归一化后的目标边界框标签集合B′，其中，R表示实数域符号，W，H分别表示图像的宽，高，n表示F_t中存在的目标个数；

(3)将(2)得到的图像F_t和归一化后的目标边界框标签集合B′输入到(1)中的深度神经网络模型，输出目标检测集合D∈R^n×4和目标完全特征向量集合E_g∈R^n×a与目标遮挡特征向量集合E_p∈R^n×b，其中，a表示目标完全特征向量的向量维度，b表示目标遮挡特征向量的向量维度；

(4)通过拼接融合策略对(3)中的目标完全特征向量集合E_g∈R^n×a和目标遮挡特征向量集合E_p∈R^n×b进行融合，得到目标融合特征向量集合集合的n个目标融合特征向量与目标检测集合D的n个目标按照集合下标一一对应，即集合中的第i个目标融合特征向量属于集合D中的第i个目标，i∈[1，n]；

(5)对目标检测集合D的目标融合特征向量集合与目标轨迹T的目标融合特征向量集合计算余弦距离，得到距离矩阵C_n×m，其中，目标轨迹T表示第t-1帧跟踪到的m个目标的集合，目标轨迹T中的每个目标都包含身份属性和目标融合特征向量，表示目标轨迹T中所有目标的目标融合特征向量组成的集合，

(6)利用距离矩阵C_n×m进行检测目标与轨迹目标的关联匹配，实现多目标跟踪。

2.根据权利要求1所述的方法，其特征在于，(2)中目标边界框标签集合B进行归一化处理，公式如下：

其中，表示图像F_t的宽，高，x，y表示边界框中心像素点位置，图像F_t左上角的像素点位置为(0，0)，w，h表示边界框宽高，

3.根据权利要求1所述的方法，其特征在于，(3)中通过深度神经网络模型输出图像F_t上的目标检测集合D和目标完全特征向量集合E_g与目标遮挡特征向量集合E_p，实现如下：

3a)将图像F_t输入主干特征提取子网络得到响应图X；

3b)通过多目标完全特征提取子网络提取响应图X的多目标完全特征图X_g；

3c)通过多目标遮挡特征提取子网络处理响应图X与归一化后的目标边界框标签集合B′，得到多目标遮挡特征图X_p；

3d)通过多任务联合模块处理多目标完全特征图X_g与多目标遮挡特征图X_p，得到目标检测集合D∈R^n×4和目标完全特征向量集合E_g∈R^n×a与目标遮挡特征向量集合E_p∈R^n×b。

4.根据权利要求3所述的方法，其特征在于，3b)中通过多目标完全特征提取子网络提取响应图X的多目标完全特征图X_g，实现如下：

3b1)将响应图X输入多目标完全特征提取子网络，得到不同卷积层输出的不同下采样程度的中间特征图X₁、X₂和X₃，该中间特征图X₁、X₂和X₃分别相对于响应图X下采样2、4、8倍；

3b2)将响应图X与3b1)中得到的中间特征图X₁、X₂和X₃进行多层特征图聚集，得到多目标完全特征图X_g。