[发明专利]一种基于模态融合的步态识别方法

说明书

本发明提供一种基于模态融合的步态识别方法，属于模式识别技术领域，为解决现有步态识别技术受光照条件以及复杂背景或协变量影响较大，导致轮廓图提取不准确，从而影响识别精度以及由于缺少人体基本属性信息而使其特征表达能力受到限制，同时由于关键点序列是非结构化数据，难以用深度网络进行建模，多采用凭经验人工设计特征的方法，无法最大化挖掘有效的判别特征，影响识别准确率及泛化能力的问题。本发明采用模态融合方式，将具有互补性的人体关键点特征和步态轮廓图特征进行模态融合。人体关键点序列输入图卷积神经网络，提取基于骨架信息的步态特征，步态轮廓图序列输入卷积神经网络，提取基于轮廓信息的步态特征，提升了步态识别的准确率。

技术领域

本发明涉及模式识别技术领域，具体而言，尤其涉及一种基于模态融合的步态识别方法。

背景技术

步态识别是计算机视觉和模式识别领域内一个非常新的研究方向，是一种新的生物特征识别技术，旨在根据人们的走路姿势实现对个人身份的识别或生理、病理及心理特征的检测，步态识别作为一种生物识别技术，具有其他生物认证技术所不具有的独特优势，即在远距离或低视频质量情况下的识别潜力大，且步态难以隐藏或伪装等，但是要设计并实现一个实用性强的步态识别系统是非常复杂且困难的。由于人的行走姿势受各种因素的影响，在不同环境条件下行走姿势有或多或少的变化，因此步态识别的计算较复杂，识别的准确度还不够高，如何更准确的识别步态特征是步态识别领域面临的难题。步态序列图像是一个复杂、具有非常高维数的视觉模式，图像获取过程中的不确定性，使得步态识别过程受到各种外界因素的干扰。如何消除复杂背景以及各种协变量的影响，准确提取运动人体的目标特征成为步态特征提取以及后续处理的关键。现有步态识别技术仍然存在以下不足：

1、通过步态轮廓图或步态能量图进行步态识别，受光照条件、复杂背景以及协变量影响较大，往往导致轮廓图提取不准确，从而影响识别精度。

2、通过骨架信息进行步态识别，从步态视频序列中获取人体关键点序列，但是这种表达方式由于缺少了人体基本属性信息(如体型)而使其特征表达能力受到限制；另外由于关键点序列是非结构化数据，难以用深度网络进行建模，故现有技术多采用凭经验人工设计特征的方法，因此无法最大化挖掘有效的判别特征，极大地影响了其识别准确率及泛化能力。

发明内容

根据上述提出的技术问题，而提供一种基于模态融合的步态识别方法。本发明采用模态融合方式，将具有互补性的人体关键点特征和步态轮廓图特征进行模态融合。人体关键点序列输入图卷积神经网络，提取基于骨架信息的步态特征，步态轮廓图序列输入卷积神经网络，提取基于轮廓信息的步态特征，提升了步态识别的准确率。

本发明采用的技术手段如下：

一种基于模态融合的步态识别方法，包括如下步骤：

S1、采集步态视频序列；

S2、采用OpenPose对上述步态视频序列进行姿态估计，得到步态关键点序列；

S3、构建时空骨架序列；将得到的步态关键点序列在空间上进行人体自然连接；同时根据人体走路步态的对称性特点，将对称点进行连接；在时间上，将帧与帧之间相同的关键点进行连接；

S4、将时空骨架序列输入多尺度时空图卷积网络进行训练，提取基于骨架信息的步态特征，分别计算待识别样本和图库中样本之间的余弦相似度S，S越大则样本相似度越高；

S5、采用前景提取技术，对上述采集的步态视频序列进行前景分割获得步态轮廓图序列；

S6、将步骤S5中获得的步态轮廓图进行预处理，即对获得的步态轮廓图进行剪裁并对齐，剪裁到大小为64x 64；

S7、将预处理后的步态轮廓图输入到卷积神经网络中进行训练，提取基于轮廓信息的步态特征，分别计算待识别样本和图库中样本之间的欧几里得距离D，D越小则越相似；