[发明专利]一种基于模态融合的步态识别方法

权利要求书

1.一种基于模态融合的步态识别方法，其特征在于，包括如下步骤：

S1、采集步态视频序列；

S2、采用OpenPose对上述步态视频序列进行姿态估计，得到步态关键点序列；

S3、构建时空骨架序列；将得到的步态关键点序列在空间上进行人体自然连接；同时根据人体走路步态的对称性特点，将对称点进行连接；在时间上，将帧与帧之间相同的关键点进行连接；

S4、将时空骨架序列输入多尺度时空图卷积网络进行训练，提取基于骨架信息的步态特征，分别计算待识别样本和图库中样本之间的余弦相似度S，S越大则样本相似度越高；

S5、采用前景提取技术，对上述采集的步态视频序列进行前景分割获得步态轮廓图序列；

S6、将步骤S5中获得的步态轮廓图进行预处理，即对获得的步态轮廓图进行剪裁并对齐，剪裁到大小为64x 64；

S7、将预处理后的步态轮廓图输入到卷积神经网络中进行训练，提取基于轮廓信息的步态特征，分别计算待识别样本和图库中样本之间的欧几里得距离D，D越小则越相似；

S8、将所述提取的基于骨架信息的步态特征和提取的基于轮廓信息的步态特征进行融合；

S9、根据融合后的距离对样本库中样本进行排序，计算rank-1识别准确率。

2.根据权利要求1所述的基于模态融合的步态识别方法，其特征在于，所述步骤S4具体为：

S41、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；

S42、采用孪生机制，在一次迭代中，将所述选择的样本输入支路1，将正样本和负样本依次输入支路2，支路1和支路2共享参数；

S43、采用SoftMax和交叉熵损失函数对支路1中所述选择的样本特征进行分类；

S44、采用对比损失函数对比所述选择的样本与正样本的特征，以及所述选择的样本与负样本的特征；若样本来自于同一个ID，则标签为1，否则标签为0；

S45、反向传播，更新网络，完成多尺度时空图卷积网络的训练；

S46、输入待测试的步态关键点序列；

S47、利用训练好的多尺度时空图卷积网络提取步态特征，并对该特征进行二范数归一化；

S48、对样本库中的样本进行步骤S46和步骤S47的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；

S49、计算待检索行人步态序列与检索库中行人步态序列之间的距离，即针对一个待检索行人步态序列，计算其特征与检索库中所有行人步态序列之间的余弦相似度S，并将该余弦相似度进行保存。

3.根据权利要求1所述的基于模态融合的步态识别方法，其特征在于，所述步骤S7具体为：

S71、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；

S72、将样本输入卷积神经网络，学习步态特征，采用三元组损失函数，将该样本特征分别与正负样本特征进行对比，减小类内距离，增大类间距离；

S73、反向传播，更新网络，完成卷积神经网络的训练；

S74、输入多张待检测样本的步态轮廓图；

S75、利用训练好的卷积神经网络提取步态特征；

S76、对样本库中的样本进行步骤S74和步骤S75的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；

S77、计算待检索行人步态特征与检索库中行人步态特征之间的距离，即针对一个待检索行人步态特征，计算其特征与检索库中所有行人步态特征之间的欧几里得距离D，并将该距离进行保存。

4.根据权利要求1所述的基于模态融合的步态识别方法，其特征在于，所述步骤S8具体为：

S81、分别读取所述步骤S39中保存的余弦相似度S和所述步骤S77保存的欧几里得距离D；

S82、因为余弦相似度越大则表示样本间相似度越大，而欧几里得距离越小则表示样本越相似，因此融合公式为：DS＝D–λS，根据实验得出λ＝10，DS即为融合后距离；

S83、按照融合后距离DS由小到大的顺序将检索库中样本进行排序，越靠前则表示与待检索行人ID一致。