[发明专利]一种基于深度学习特征模板匹配的在线实时行人跟踪新方法

权利要求书

1.一种基于深度学习特征模板匹配的在线实时行人跟踪新方法，其特征在于，包括如下步骤：

1)读取数据，得到第i帧图像I_i；

目标消失帧数+1：无论实际有没有丢失目标，将记录在特征库里所有的特征对应的目标的丢失帧数L加1，L＝[l₁，...，l_k]，k为特征库中记录特征的数量；

2)判断目标丢失帧数是否达到阈值，达到则认为该目标已不在视频中出现，则清除对应目标的特征；反之认为目标因某种原因在过去几帧中暂时没有被检测到，暂时保留对应特征；

3)通过行人检测模型M_d进行行人检测，即通过P_i＝M_d(I_i)得到行人的前景图像P_i∈Rⁿ，其中n为检测到的行人数量，若n＝0，未检测到行人，则不再后续处理，重新读取下一帧；若n0，检测到行人，进入下一步处理；

4)特征提取：通过在预训练好的行人重识别模型M_f提取每个检测到该帧的行人的特征矩阵F_i＝M_f(P_i)，F_i∈R^n×m，其中n代表该帧上检测到的人数，m代表每个人特征的长度，长度为1024，每个行人的特征进行归一化；

5)特征对比：假设特征库中已存有k个特征，即有k个目标在录，使用该帧的特征矩阵F_i与库中在上一帧注册的特征矩阵D_i-1的转置做矩阵乘法，得到S_i∈R^n×k，该矩阵的元素即代表检测到的目标的特征与库特征的余弦相似度，邻接矩阵A_i通过A_i＝S_i＞t得到，t为预先设定的阈值，A_i的行列数也直接确定了图的节点数；

6)通过分配算法进行目标的身份分配，若目标不能成功分配一个身份，那么认为该目标是新出现的，则将其作为一个新的样本将其特征加入特征库；

a)若能够分配到一个身份，得到该身份检测结果中的位置u与在特征库中的位置v，其特征按以下方式进行更新：

特征更新采取滑动平均的策略，此处平均的是特征的夹角而不是幅值,而对夹角的平均按以下算法进行：

1.将转换至极坐标，得到θ_old和θ_now，记该映射为θ＝g(f)

2.计算

3.将θ_now转换回直角坐标，得到f_new，记为f＝h(θ)；

其中θ_new，θ_old，θ_now分别为新特征、库特征、当前帧的特征的角度，N为该目标记录的总帧数；

g(f)为：

其中，m为特征维数，

h(θ)为：

a1).设f₀＝1

a2).计算

a3).汇总f′_new＝[f₀，...，f_m-1]

a4).计算

得到更新后的特征；

最后需将更新后的特征放入特征库，D_i＝update(D_i-1，F_i，u，v),其更新方式为：

D_i＝D_i-1

其中D_i-1为上一帧特征库中的特征，F_i为本次检测到的行人的特征，u，v为分配算法得到的同一身份在检测结果与特征库中的位置，D_i为更新后的特征库；

b)若不能分配到身份，即检测结果中的位置u在特征库找不到对应位置v与之匹配，则加入新特征D_i＝update(D_i-1，F_i，u)：

D_i＝D_i-1

其中,D_i-1为上一帧特征库中的特征，F_i为本次检测到的行人的特征，u为分配算法无法分配身份的检测结果所处的位置，k为特征库中D_i-1已有的特征数量，D_i为更新后的特征库；

7)特征更新/加入新特征后，对其对应的丢失帧数归零/初始化，即l_u＝0或l_k+1＝0，并读取新的一帧，进入下一次循环。

2.一种基于深度学习特征模板匹配的在线实时行人跟踪新方法，其特征在于，包括如下步骤：

1)读取数据，得到第i帧图像I_i；

目标消失帧数+1：无论实际有没有丢失目标，将记录在特征库里所有的特征对应的目标的丢失帧数L加1，L＝[l₁，...，l_k]，k为特征库中记录特征的数量；

2)判断目标丢失帧数是否达到阈值，达到则认为该目标已不在视频中出现，则清除对应目标的特征；反之认为目标因某种原因在过去几帧中暂时没有被检测到，暂时保留对应特征；

3)通过行人检测模型M_d进行行人检测，即通过P_i＝M_d(I_i)得到行人的前景图像P_i∈Rⁿ，其中n为检测到的行人数量，若n＝0，未检测到行人，则不再后续处理，重新读取下一帧；若n0，检测到行人，进入下一步处理；

4)特征提取：通过在预训练好的行人重识别模型M_f提取每个检测到该帧的行人的特征矩阵F_t＝M_f(P_i)，F_i∈R^n×m，其中n代表该帧上检测到的人数，m代表每个人特征的长度，长度为1024，每个行人的特征进行归一化；

5)特征对比：假设特征库中已存有k个特征，即有k个目标在录，使用该帧的特征矩阵F_i与库中在上一帧注册的特征矩阵D_i-1的转置做矩阵乘法，得到S_i∈R^n×k，该矩阵的元素即代表检测到的目标的特征与库特征的余弦相似度，邻接矩阵A_i通过A_i＝S_i＞t得到，t为预先设定的阈值，A_i的行列数也直接确定了图的节点数；

6)通过分配算法进行目标的身份分配，若目标不能成功分配一个身份，那么认为该目标是新出现的，则将其作为一个新的样本将其特征加入特征库；

a)若能够分配到一个身份，得到该身份检测结果中的位置u与在特征库中的位置v，其特征按以下方式进行更新：

特征更新采取滑动平均的策略，此处平均的是特征的夹角而不是幅值,而对夹角的平均按以下算法进行：

1.将转换至极坐标，得到θ_old和θ_now，记该映射为θ＝g(f)

2.计算

3.将θ_new转换回直角坐标，得到f_new，记为f＝h(θ)；

其中θ_new，θ_old，θ_now分别为新特征、库特征、当前帧的特征的角度，N为该目标记录的总帧数；

g(f)为:

其中，m为特征维数，

h(θ)为：

最后需将更新后的特征放入特征库，D_i＝update(D_i-1，F_i，u，v),其更新方式为：

D_i＝D_i-1

其中D_i-1为上一帧特征库中的特征，F_i为本次检测到的行人的特征，u，v为分配算法得到的同一身份在检测结果与特征库中的位置，D_i为更新后的特征库；

b)若不能分配到身份，即检测结果中的位置u在特征库找不到对应位置v与之匹配，则加入新特征D_i＝update(D_i-1，F_i，u)：

D_i＝D_i-1

其中,D_i-1为上一帧特征库中的特征，F_i为本次检测到的行人的特征，u为分配算法无法分配身份的检测结果所处的位置，k为特征库中D_i-1已有的特征数量，D_i为更新后的特征库；

7)特征更新/加入新特征后，对其对应的丢失帧数归零/初始化，即l_u＝0或l_k+1＝0，并读取新的一帧，进入下一次循环。