[发明专利]一种基于长短期预测模型的多目标遮挡跟踪方法

权利要求书

1.一种基于长短期预测模型的多目标遮挡跟踪方法，其特征在于，包括如下步骤：

步骤1：使用检测器获得每帧检测结果，初始化目标ID和目标轨迹，并初始化第一帧上所有目标轨迹；

步骤2：将当前帧的检测结果与上一帧目标轨迹进行匹配，得到匹配结果；

步骤3：对于匹配成功的目标轨迹，用与之匹配成功的当前帧的检测结果对其外观进行更新，若存在未匹配成功的目标轨迹，则执行步骤4，若存在未匹配成功的检测结果，则执行步骤5；

步骤4：将未匹配成功的目标轨迹u_i状态设置为中止，并将其ID加入到消失目标集合UT中；

步骤5：若UT为空，则执行步骤6，否则执行步骤7；

步骤6：目标初始化，并将其ID加入到目标轨迹集合T，返回步骤2；

步骤7：将未匹配成功的检测结果u_j和UT中的目标轨迹进行重新匹配，若匹配成功，则执行步骤8，否则返回步骤6；

步骤8：采用基于长短期预测模型遮挡处理方法来恢复丢失目标miss_i在遮挡帧期间的位置；

步骤8中采用基于长短期预测模型遮挡处理方法来恢复丢失目标i在遮挡帧期间的位置，具体过程为：

首先设计基于外观模型的预测方法对丢失目标在丢失帧期间的位置进行预测，使用如下公式：

其中Q是一个S×Z的二值矩阵，S表示为目标的尺寸大小，Z为帧的水平长度；a,b和f分别为样本，最大响应值和卷积核，其中a_c∈R^Z,b∈R^Z，f∈R^S，C是特征的通道数，a_c和f_c分别样本的第c通道图像和滤波器的第c通道，λ是一个用来正则化的参数，[Δτ_z]是一个循环操作来生成循环样本，||||₂为2范数；

其次设计基于运动模型的预测方法，首先确定出被遮挡目标与遮挡者关系对，计算目标轨迹集合中与目标轨迹i₁最大的重叠面积，具体公式如下

其中Λ为目标轨迹集合T中与目标轨迹i₁最大的重叠度，如果Λ超过阈值th_max，则将对应的目标轨迹i₂的状态来对进行更新，具体使用如下公式

其中第一个等式表示目标轨迹i₁状态预测过程，第二个等式表示目标轨迹i₁利用目标轨迹i₂来对其状态更新；和分别表示对应目标轨迹i₁在t和t-1帧时刻的状态，表示目标轨迹i₂在t帧时刻的观测量，A和H分别为状态转移矩阵和观测矩阵；w_t和v_t分别表示系统过程的噪声和观测过程中产生的噪声；

然后设计一种自适应加权融合方法对基于外观模型预测结果和基于运动模型预测结果进行融合，得到短期预测结果；具体公式如下：

其中，P_S，P_A和P_B分别为短期预测结果，基于外观模型预测结果和基于运动模型预测结果；μ为二值变量，用来指示遮挡类型，如果目标发生背景遮挡，则取值为0；如果目标发生目标间遮挡，则取值为1；

然后采用样条插值法，将目标出现的坐标作为已知点，来预测未知点的位置，即丢失帧的位置，得到长期预测结果P_L；

最后设计一种自适应加权融合长期预测结果和短期预测结果方法，得到丢失目标在丢失帧期间的最终预测结果，具体采用如下公式：

其中，P_final，P_S和P_L分别为最终预测结果，短期预测结果和长期预测结果，η为目标最大程度上允许消失的帧数，是一个阈值，用来判定目标是否离开场景，ζ是目标消失的帧数；

步骤9：剔除UT中消失的帧数超过阈值th的目标；

步骤10：判断是否为视频最后一帧，如果是，则跟踪结束，否则返回步骤2。