[发明专利]一种基于时空信息辅助的无人机视频车辆跟踪方法

权利要求书

1.一种基于时空信息辅助的无人机视频车辆跟踪方法，其特征在于，包括以下步骤：

步骤1，确定需要跟踪的目标车辆S；

步骤2，无人机对地面进行拍摄，获得无人机视频数据；将无人机视频数据的每一视频帧作为图像帧；

步骤3，按图像帧生成顺序，依次对各个图像帧进行车辆特征识别，判断每个图像帧是否包含目标车辆S，如果不包含，则继续对下一图像帧进行车辆特征识别，直到定位到包含目标车辆S的图像帧，然后执行步骤4；如果包含，则表明成功搜索到目标车辆S，执行步骤4；

将首次识别到包含目标车辆S的图像帧设为第0图像帧Frm(0)，在第0图像帧Frm(0)中确定包含目标车辆S的车辆结果框Box(0)，再一步确定车辆结果框Box(0)的位置信息，包括：车辆结果框Box(0)的宽w₀,高h₀以及中心点坐标P₀(x₀,y₀)；

步骤4，从第0图像帧Frm(0)搜索到目标车辆S开始，采用时空信息辅助的无人机视频车辆跟踪方法，对后续的图像帧Frm(t)中的目标车辆S进行跟踪；其中，t＝2,…,End表示当前图像帧距离第0图像帧Frm(0)的帧数，End表示跟踪结束时图像帧的帧数；

对于图像帧Frm(t)，采用以下方法，追踪到目标车辆S在图像帧Frm(t)的位置：

步骤4.1，在图像帧Frm(t)中，确定车辆疑似位置区域，从而得到车辆疑似位置图Z(t)；

具体的，以当前图像帧Frm(t)为参考，则图像帧Frm(t-1)表示为当前图像帧Frm(t)的前一图像帧，图像帧Frm(t-2)表示为图像帧Frm(t-1)的前一图像帧；

提取图像帧Frm(t-1)的车辆结果框Box(t-1)和图像帧Frm(t-2)的车辆结果框Box(t-2)的位置信息，根据车辆结果框Box(t-2)向车辆结果框Box(t-1)方向的变化趋势，在图像帧Frm(t)中，确定车辆疑似位置区域，从而得到车辆疑似位置图Z(t)；

步骤4.2，确定浅层类内特征图F_ShallowMap(TB)和深层类间特征图F_DeepMap(TB)：

将步骤3中通过车辆特征识别确定的车辆结果框Box(0)作为目标车辆的车辆模板框TB，依次经过conv1、conv2、conv3卷积层，得到浅层类内特征图F_ShallowMap(TB)；将浅层类内特征图F_ShallowMap(TB)继续输入到conv4、conv5卷积层，得到深层类间特征图F_DeepMap(TB)；

步骤4.3，对车辆疑似位置图Z(t)进行特征提取，得到深层车辆疑似特征图F_DeepMap(Z)：

将步骤4.1得到的车辆疑似位置图Z(t)经过conv1、conv2卷积层提取特征，得到初始车辆疑似特征图F_initMap(Z)；然后，以浅层类内特征图F_ShallowMap(TB)作为卷积核，对初始车辆疑似特征图F_initMap(Z)进行卷积，得到浅层车辆疑似特征图F_ShallowMap(Z)，进而加强初始车辆疑似特征图F_initMap(Z)中目标车辆的响应程度；最后，将浅层车辆疑似特征图F_ShallowMap(Z)经过conv4卷积核进行特征提取，得到深层车辆疑似特征图F_DeepMap(Z)；

步骤4.4，获取目标车辆得分图ScoreMap：

步骤4.4.1，判断当前帧数t是否大于历史车辆跟踪结果信息辅助帧数K，若t≤K，则执行步骤4.4.2；若tK，则执行步骤4.4.3；

步骤4.4.2，t≤K时，目标车辆得分图ScoreMap的获取方法：

当t≤K时，以深层类间特征图F_DeepMap(TB)作为卷积核，对深层车辆疑似特征图F_DeepMap(Z)进行卷积，输出目标车辆得分图ScoreMap，进而抑制深层车辆疑似特征图F_DeepMap(Z)中非车辆类别物体的响应程度；然后执行步骤4.5；

步骤4.4.3：tK时，目标车辆得分图ScoreMap的获取方法：

步骤4.4.3.1，当tK时，提取历史最接近K个车辆结果框，分别为：图像帧Frm(t-1)的车辆结果框Box(t-1),图像帧Frm(t-2)的车辆结果框Box(t-2)...,图像帧Frm(t-K)的车辆结果框Box(t-K)；

其中，图像帧Frm(t-1)表示当前图像帧Frm(t)的前一帧，…，图像帧Frm(t-K)表示当前图像帧Frm(t)的前第K帧；

上述K个车辆结果框中不仅包含目标车辆的特征信息，还包含目标车辆在时间序列中的变化信息；

步骤4.4.3.2，将车辆结果框Box(t-1),车辆结果框Box(t-2),...,车辆结果框Box(t-K)依次输入conv1至conv5卷积层中，分别得到对应历史帧的深层类间特征图F_DeepMap(B_t-1),F_DeepMap(B_t-2)，…,F_DeepMap(B_t-K)；

步骤4.4.3.3，将历史帧的深层类间特征图F_DeepMap(B_t-1),F_DeepMap(B_t-2)，…,F_DeepMap(B_t-K)分别与步骤4.2得到的深层类间特征图F_DeepMap(TB)相减，得到K个深层区别特征图；

将K个深层区别特征图通过concat串联，得到历史变化特征图F_ChangeMap(B)；将历史变化特征图F_ChangeMap(B)通过1*1*n的卷积核进行特征融合，输出包含n个通道的历史变化特征融合图F_mergeMap(B)；

步骤4.4.3.4，将历史变化特征融合图F_mergeMap(B)输入到n分类的全连接网络FC_n中，得到1*1*n的权重向量W；

将权重向量W与历史变化特征融合图F_mergeMap(B)互卷积，得到加权后历史变化特征融合图F_mergeMap(B)′；

步骤4.4.3.5，将加权后历史变化特征融合图F_mergeMap(B)′与深层类间特征图F_DeepMap(TB)采用串联concat()方式融合后，输入到卷积层conv_1*1，得到增强历史信息特征图F_EhcMap(TB)；

表达式为：

其中：为加权后历史变化特征融合图F_mergeMap(B)′的系数；

以增强历史信息特征图F_EhcMap(TB)作为卷积核，对深层车辆疑似特征图F_DeepMap(Z)进行卷积，输出目标车辆得分图ScoreMap；然后执行步骤4.5；

步骤4.5，根据目标车辆得分图ScoreMap，在图像帧Frm(t)中确定车辆结果框Box(t)，即为在图像帧Frm(t)中追踪到的目标车辆S所在位置：

步骤4.5.1，目标车辆得分图ScoreMap中的每个像素点均具有特征值，将特征值最高的点坐标，映射到图像帧Frm(t)中，其在图像帧Frm(t)的坐标即为图像帧Frm(t)的待检测的车辆结果框Box(t)的中心点坐标，表示为：P_t(x_t,y_t)；

步骤4.5.2，将目标车辆得分图ScoreMap输入到包含两个3*3卷积核的卷积层Conv6，得到偏移量特征图，此时偏移量特征图包含两个图层，分别用于预测车辆结果框宽度偏移量和车辆结果框高度偏移量；

将偏移量特征图进行全局最大值池化，得到当前图像帧Frm(t)车辆结果框Box(t)与上一图像帧Frm(t-1)车辆结果框Box(t-1)的宽偏移量w′_t和高偏移量h′_t；

步骤4.5.3，将上一图像帧Frm(t-1)的车辆结果框Box(t-1)宽w_t-1与宽偏移量w′_t相加，得到当前图像帧Frm(t)的车辆结果框Box(t)的宽w_t，将上一图像帧Frm(t-1)的车辆结果框Box(t-1)高h_t-1与高偏移量h′_t相加，得到当前图像帧Frm(t)的车辆结果框Box(t)的高h_t，因此，在图像帧Frm(t)中，以P_t(x_t,y_t)作为中心点，宽为w_t,高为h_t，从而在图像帧Frm(t)中确定车辆结果框Box(t)，即为在图像帧Frm(t)中追踪到的目标车辆S所在位置；

步骤5，将图像帧Frm(t)作为图像帧Frm(t-1)，返回步骤4，对下一图像帧进行目标车辆S跟踪；

其中，步骤4.1具体方法为：

步骤4.1.1，获取车辆结果框Box(t-1)的中心点坐标P_t-1(x_t-1,y_t-1)，宽为w_t-1，高为h_t-1；

获取车辆结果框Box(t-2)的中心点坐标P_t-2(x_t-2,y_t-2)、宽为w_t-2，高为h_t-2；

步骤4.1.2，根据车辆结果框Box(t-1)的中心点坐标和车辆结果框Box(t-2)的中心点坐标，采用下式，计算车辆结果框Box(t-1)和车辆结果框Box(t-2)之间的坐标方位角α：

其中：

若y_t-1-y_t-2＝0Vt＝1，则α＝90°；

步骤4.1.3，采用下式，根据坐标方位角α确定车辆疑似区域的宽w_Z和高h_Z，增加目标运动方向的空间信息：

其中：

四个方向north、south、east、west根据目标车辆的运动方向设置；

北方向north＝{(0,40)∪(320,360)}

南方向south＝{140°,220°}

东方向east＝{50,130}

西方向west＝{230,310}

β₁和β₂分别为宽放大系数和高放大系数；

步骤4.1.4，根据(x_t-1,y_t-1,w_Z,h_Z)在图像帧Frm(t)截取车辆疑似区域，得到车辆疑似位置图Z(t)。