[发明专利]一种基于深度学习特征模板匹配的在线实时行人跟踪新方法

说明书

本发明公开了一种基于深度学习特征模板匹配的在线实时行人跟踪新方法，包括如下步骤：1)读取数据，得到第i帧图像I_i；2)判断目标丢失帧数是否达到阈值，达到则认为该目标已不在视频中出现，则清除对应目标的特征；反之认为目标因某种原因在过去几帧中暂时没有被检测到，暂时保留对应特征；3)通过行人检测模型M_d进行行人检测；4)特征提取；5)特征对比；6)通过分配算法进行目标的身份分配；7)特征更新/加入新特征后，对其对应的丢失帧数归零/初始化，并读取新的一帧，进入下一次循环。通过使用模板匹配以及分配算法可以有效解决视觉监控中行人跟踪时因遮挡导致的中断问题。

技术领域

本发明涉及视觉监控技术领域，尤其涉及一种基于深度学习特征模板匹配的在线实时行人跟踪新方法。

背景技术

在各类视觉监控的场景中，对人的动作行为进行分析都具有极大的价值。在机器视觉领域，行人跟踪是目标跟踪的子问题。一般而言，跟踪算法主要由状态估计算法和分配算法组成。其中状态估计的经典算法使用卡尔曼滤波，通过当前时刻的目标位置(即此时的状态)，在考虑目标的速度、方向等因素的情况下对下一时刻的状态进行预测得到“预测状态”，并依据下一时刻的“观测状态”与“预测状态”的差别进行概率估计(通常使用卡方分布)。在得到各个状态的概率估计后则建立以前后两帧的目标为节点，以概率大于某一阈值的状态作为边的图，以“邻接矩阵”或“邻接表”表示，并在该图上通过分配算法将下一时刻的多个目标“尽量全部分配”到这一时刻的目标(通常使用匈牙利算法)。当分配(配对)完成后，则更新目标对应的状态并进行下一次预测，周而复始地进行目标跟踪。在这个过程中可能出现目标暂时消失(遮挡或短暂离开了摄像头能拍摄到的区域)，目标离开和新目标产生等情况，其中又以“目标暂时消失”这一情况会对状态估计算法带来最大的负面影响，同时这影响也可能造成后续的分配算法失效。

现有的主流行人跟踪算法需要进行状态估计，那么当某一段时刻有目标短暂的消失后再次出现时，两次的状态变化较大，状态估计的误差也就很大，导致算法认为这是一个新的目标重新开始跟踪，从而出现跟踪中断的问题。

另外，现有的主流行人跟踪算法需要维护一个较大的模板库，每个个体通常最大保留100个模板，存储空间消耗大，每一次配对都需要单独计算当前帧中所有目标与模板库中所有历史模板的距离，匹配时间长。

发明内容

本发明提供了一种基于深度学习特征模板匹配的在线实时行人跟踪新方法，目的在于：

1.通过模板匹配的方式摒弃状态估计，从而避免状态估计带来的错误；

2.加入模板更新机制，避免维护巨大的模板库，可以显著降低空间消耗；

3.使用更高效的模板匹配方式，直接从提取的特征和模板得到邻接矩阵，可以显著减少匹配时间。

为实现本发明的目的，本发明提供了一种基于深度学习特征模板匹配的在线实时行人跟踪新方法，包括如下步骤：

1)读取数据，得到第i帧图像I_i；

目标消失帧数+1：无论实际有没有丢失目标，将记录在特征库里所有的特征对应的目标的丢失帧数L加1，L＝[l₁，...，l_k]，k为特征库中记录特征的数量；

2)判断目标丢失帧数是否达到阈值，达到则认为该目标已不在视频中出现，则清除对应目标的特征；反之认为目标因某种原因在过去几帧中暂时没有被检测到，暂时保留对应特征；

3)通过行人检测模型M_d进行行人检测，即通过P_i＝M_d(I_i)得到行人的前景图像P_i∈Rⁿ，其中n为检测到的行人数量，若n＝0，未检测到行人，则不再后续处理，重新读取下一帧；若n0，检测到行人，进入下一步处理；