[发明专利]一种融合行人特性的在线更新策略行人单目标跟踪方法

权利要求书

1.一种融合行人特性的在线更新策略行人单目标跟踪方法，其特征在于它包括以下步骤：

第1步：跟踪过程中的分类任务：

(1.1)通过特征提取网络提取视频序列中参考帧和视频序列中的每一帧的特征，即：选取视频序列第一帧作为参考帧，并通过人工标注目标边界框的方式选中待跟踪目标，并在后续视频序列中的每一帧，即测试帧，对参考帧的所选取的待跟踪目标进行识别检测，从而实现视频序列中对待跟踪目标的进行跟踪，即可实现行人单目标跟踪过程；

(1.2)利用步骤(1.1)选取的参考帧提取到的参考帧中的每一帧的特征和其人工标注目标边界框，通过模型预测器在线训练分类滤波器，用于后续帧区分待跟踪目标前背景，并预测目标位置；

(1.3)将当前所要跟踪序列中的后续帧作为测试帧，进行特征提取，即利用特征提取网络，对测试帧进行特征提取，得到测试帧的特征x_test；

(1.4)利用步骤(1.2)优化后的分类滤波器new_filter和步骤(1.3)得到的测试帧的特征进行卷积处理，如公式(8)所示：

s_test＝x_test*f_new (8)

式中，s_test为测试帧响应图；其中x_test代表测试帧的特征；*代表卷积计算；f_new为优化后的分类滤波器new_filter；

(1.5)根据步骤(1.4)得到的测试帧的响应图s_test，判断当前测试帧的跟踪状态，跟踪状态分为为正常状态、不确定状态和找不到状态；其中，正常状态代表测试帧的场景简单，通过分类任务可以简单地识别待跟踪目标和背景；不确定状态代表当前测试帧帧场景复杂，受到干扰物和背景影响，难以准确地识别待跟踪目标和背景；找不到状态代表当前测试帧场景复杂，受到遮挡或无法识别待跟踪目标和背景；

第2步骤：跟踪过程中的回归任务：

(2.1)根据步骤(1.4)的分类任务中得到的测试帧的响应图s_test进行目标中心的位置预测；

(2.2)结合行人目标在运动过程中的固有特性，修正(2.1)步骤预测得到目标中心位置，得到最终预测的目标中心位置；

(2.3)根据步骤(2.2)得到的最终预测的目标中心位置和上一帧目标边界框，若当前帧为第二帧就将第一帧标注的目标边界框作为初始候选边界框，若为后续帧则将步骤(2.4)预测的边界框作为初始候选边界框，并结合参考帧标注的目标边界框作为参考边界框，在步骤(2.2)得到最终预测的目标中心位置周围生成候选边界框集；

(2.4)将步骤(2.3)得到的a+b个可优化候选边界框集和步骤(1.3)得到的测试帧的特征送入边界框预测模块进行目标边界框预测；

(2.5)根据步骤(1.5)所判断的当前测试帧的跟踪状态更新分类滤波器new_filter，行人在运动过程中会出现遮挡、行人之间交错运动以及溶于背景的场景，通过判断当前目标的跟踪状态对分类滤波器new_filter进行优化更新，即可防止引入背景或者干扰物信息；

(2.6)通过重复步骤(1.3)到步骤(2.5)完成整个所跟踪视频序列中每一帧目标识别检测，最终实现行人单目标跟踪。

2.根据权利要求1所述一种融合行人特性的在线更新策略行人单目标跟踪方法，其特征在于所述步骤(1.1)中的特征提取网络是ResNet50模块结构；所述ResNet50模块结构是由4个残差块串联起来组成，4个残差块名字分别是Block1、Block2、Block3、Block4；所述ResNet50模块结构后连接两层卷积层，进而组合成用于特征提取的骨干网络，用于提取当前参考帧或测试帧图像的特征。

3.根据权利要求1所述一种融合行人特性的在线更新策略行人单目标跟踪方法，其特征在于所述步骤(1.2)中的模型预测器，它是由初始化器模块和优化器模块构成；所述初始化器模块，仅使用待跟踪目标外观即可有效提供分类滤波器的初始估计；所述优化器模块，用于对初始估计的分类滤波器init_filter进行优化，最终得到优化后的分类滤波器new_filter，对所跟踪视频序列后续帧进行目标前、背景分类，并预测待跟踪目标中心位置进行粗略定位。