[发明专利]一种结合直接度量和间接度量的行人再识别方法

摘要

本发明公开了一种结合直接度量和间接度量的行人再识别方法，其先确定第一待识别图像库和第一目标图像库，并提取第一、第二待识别图像库以及第一、第二目标图像库中的所有行人图像的特征向量；然后基于第一待识别图像库和第一目标图像库训练得到直接相似性得分和间接相似性得分的加权融合模型，作为最终相似性得分模型；接着使用第二待识别图像库与第二目标图像库测试训练好的最终相似性得分模型，依据第二待识别图像库中的每幅行人图像与第二目标图像库中的所有行人图像之间的最终相似性得分识别第二待识别图像库中的每幅行人图像；优点是充分利用了两幅图像自身的判别信息，及与两幅图像相关的其它图像的判别信息，从而大幅提高了行人识别精度。

主权项

一种结合直接度量和间接度量的行人再识别方法，其特征在于包括以下步骤：①选取一个包含训练集和测试集的行人图像库，训练集包含有针对多个不同行人的行人图像，测试集也包含有针对多个不同行人的行人图像；其中，行人图像的尺寸大小为M×N像素；设定训练集中包含的行人图像的总幅数为num；然后根据训练集中的num幅行人图像，将训练集分为第一待识别图像库和第一目标图像库，具体过程为：在训练集中，针对每个行人对应的多幅行人图像，从中任意挑选，以两幅行人图像作为一组组对，若每对行人图像来自不同摄像头，则将该对行人图像中的一幅行人图像归入第一待识别图像库、另一幅行人图像归入第一目标图像库；若该对行人图像来自同一摄像头，则丢弃该对行人图像；再设定第一待识别图像库中包含的行人图像的总幅数为total1，设定第一目标图像库中包含的行人图像的总幅数也为total1；其中，num和total1均为正整数，total1≥100，num≥2total1；设定测试集中的第二待识别图像库中包含的行人图像的总幅数为total2，设定测试集中的第二目标图像库中包含的行人图像的总幅数为total2'；其中，total2和total2'均为正整数，total2≥1，total2'≥10；提取第一待识别图像库和第一目标图像库及第二待识别图像库和第二目标图像库各自中的每幅行人图像的特征向量；其中，特征向量的维数为符号为向下取整符号；②采用结构为的BP神经网络将第一目标图像库中的所有行人图像各自的特征向量和第一待识别图像库中的所有行人图像各自的特征向量映射到嵌入空间中；然后采用内积法求解第一待识别图像库中的每幅行人图像在嵌入空间中的嵌入特征向量与第一目标图像库中的各幅行人图像在嵌入空间中的嵌入特征向量之间的相似性得分，并作为第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的直接相似性得分，将第一待识别图像库中的第u幅行人图像与第一目标图像库中的第v幅行人图像之间的直接相似性得分记为Gdirect(Su,Tv)，Gdirect(Su,Tv)＝<f(Su),f(Tv)>＝(f(Su))Tf(Tv)；其中，x表示第一目标图像库中的行人图像的特征向量或第一待识别图像库中的行人图像的特征向量，f(x)表示x映射到嵌入空间中后得到的嵌入特征向量，也即为第一目标图像库中的行人图像在嵌入空间中的嵌入特征向量或第一待识别图像库中的行人图像在嵌入空间中的嵌入特征向量，tanh()为BP神经网络的激活函数，WT为W的转置，W表示维数为d1×d2的映射矩阵，d1表示x的维数，d2表示f(x)的维数，b表示维数为d2的偏差向量，||tanh(WTx+b)||2表示求tanh(WTx+b)的2‑范数，u和v均为正整数，1≤u≤total1，1≤v≤total1，Su表示第一待识别图像库中的第u幅行人图像的特征向量，Tv表示第一目标图像库中的第v幅行人图像的特征向量，符号“<>”为内积运算符号，(f(Su))T为f(Su)的转置，f(Su)表示Su映射到嵌入空间中后得到的嵌入特征向量，f(Tv)表示Tv映射到嵌入空间中后得到的嵌入特征向量；③采用BP算法构建映射矩阵求解最优化模型，描述为：然后采用梯度下降法求解上述映射矩阵求解最优化模型，得到W和b各自的值；其中，min()为求最小值函数，||W||F为求W的F‑范数，Th表示第一目标图像库中的第h幅行人图像的特征向量，h为正整数，1≤h≤total1，Gdirect(Su,Th)表示第一待识别图像库中的第u幅行人图像在嵌入空间中的嵌入特征向量f(Su)与第一目标图像库中的第h幅行人图像在嵌入空间中的嵌入特征向量f(Th)之间的相似性得分，也即表示第一待识别图像库中的第u幅行人图像与第一目标图像库中的第h幅行人图像之间的直接相似性得分，表示Su对应的正样本集合，若第一目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像为同一行人，则将第一目标图像库中的该幅行人图像的特征向量归入中，表示Su对应的负样本集合，若第一目标图像库中的一幅行人图像与第一待识别图像库中的第u幅行人图像不为同一行人，则将第一目标图像库中的该幅行人图像的特征向量归入中，表示求中的元素的总个数，表示求中的元素的总个数，[]+为铰链损失函数；④计算第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的间接相似性得分，将第一待识别图像库中的第u幅行人图像与第一目标图像库中的第v幅行人图像之间的间接相似性得分记为Gindirect(Su,Tv)，其中，k为正整数，R(Su,k)表示由第一待识别图像库中的第u幅行人图像的k相互近邻组成的集合，R(Tv,k)表示由第一目标图像库中的第v幅行人图像的k相互近邻组成的集合，符号“∩”为集合交运算符号，符号“∪”为集合并运算符号，|R(Su,k)∩R(Tv,k)|表示求R(Su,k)∩R(Tv,k)中的元素的总个数，|R(Su,k)∪R(Tv,k)|表示求R(Su,k)∪R(Tv,k)中的元素的总个数；⑤根据第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的直接相似性得分和间接相似性得分，对第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的最终相似性得分进行描述，将第一待识别图像库中的第u幅行人图像与第一目标图像库中的第v幅行人图像之间的最终相似性得分记为G(Su,Tv)，描述为：G(Su,Tv)＝βdirect×Gdirect(Su,Tv)+βindirect×Gindirect(Su,Tv)，其中，βdirect为Gdirect(Su,Tv)的权值参数，βindirect为Gindirect(Su,Tv)的权值参数，βdirect+βindirect＝1；⑥根据第一待识别图像库中的每幅行人图像与第一目标图像库中的各幅行人图像之间的最终相似性得分的描述，训练获取βdirect和βindirect的值；然后根据训练获取的βdirect和βindirect的值，得到最终相似性得分计算模型，描述为：G(S*,T*)＝βdirect×Gdirect(S*,T*)+βindirect×Gindirect(S*,T*)，其中，S*表示任意一幅待识别图像的特征向量，T*表示任意一幅目标图像的特征向量，Gdirect(S*,T*)表示任意一幅待识别图像与任意一幅目标图像之间的直接相似性得分，Gindirect(S*,T*)表示任意一幅待识别图像与任意一幅目标图像之间的间接相似性得分，G(S*,T*)表示任意一幅待识别图像与任意一幅目标图像之间的最终相似性得分；⑦按照步骤②和步骤④的过程，以相同的操作，获取第二待识别图像库中的每幅行人图像与第二目标图像库中的各幅行人图像之间的直接相似性得分和间接相似性得分，将第二待识别图像库中的第u'幅行人图像与第二目标图像库中的第v'幅行人图像之间的直接相似性得分和间接相似性得分对应记为和然后将第二待识别图像库中的每幅行人图像与第二目标图像库中的各幅行人图像之间的直接相似性得分和间接相似性得分输入G(S*,T*)＝βdirect×Gdirect(S*,T*)+βindirect×Gindirect(S*,T*)中进行测试，得到第二待识别图像库中的每幅行人图像与第二目标图像库中的各幅行人图像之间的最终相似性得分，将第二待识别图像库中的第u'幅行人图像与第二目标图像库中的第v'幅行人图像之间的最终相似性得分记为再根据第二待识别图像库中的每幅行人图像与第二目标图像库中的各幅行人图像之间的最终相似性得分，识别第二待识别图像库中的每幅行人图像；对于第二待识别图像库中的第u'幅行人图像，找出该幅行人图像与第二目标图像库中的所有行人图像之间的最终相似性得分中的最高得分，将该幅行人图像中的行人识别为最高得分所对应的第二目标图像库中的行人图像中的行人；其中，u'和v'均为正整数，1≤u'≤total2，1≤v'≤total2'，表示第二待识别图像库中的第u'幅行人图像的特征向量，表示第二目标图像库中的第v'幅行人图像的特征向量。