[发明专利]一种基于多特征聚合的跨视角步态识别方法、系统及设备

说明书

本发明公开了一种基于多特征聚合的跨视角步态识别方法、系统及设备，首先对输入视频进行预处理获得步态序列；然后将处理后的步态序列输入基于多特征聚合的跨视角步态识别网络（GaitAMR）中，得到识别结果。具体而言，本发明提出了一种空间特征重组评估策略(SFRA)，通过重建受试者高质量的外观特征来消除空间域中存在的遮挡。其次，提出了一种整体和部分时间聚合策略(HPTA)，该策略从全局和局部两方面提取身体运动描述符，以捕获人体的独特运动模式。最后，提出了一种视图投影预测学习策略(VPPL)，将最佳视图下的特征作为补充信息嵌入特征识别部分，以增强识别过程中的视图稳定性。本发明通过有效地聚合这三个维度的特征表示，显著提升了步态识别的精度。

技术领域

本发明属于生物特征识别技术领域，涉及一种步态识别方法、系统及设备，具体涉及一种基于多特征聚合的跨视角步态识别方法、系统及设备。

背景技术

步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别，与其他的生物识别技术相比，步态识别具有非接触远距离和不容易伪装的优点。深度学习推动了步态识别的进展，其通过在大量步态数据集上进行训练获得了远超传统识别方法的效果。然而，考虑到复杂环境下的步态识别及视角变化等干扰因素，步态识别的准确性尚不能满足应用要求。因此，提升复杂环境下步态识别方法的性能具有重要意义。

步态识别首先通过摄像头去采集步态信息，然后通过背景估计等算法进行步态检测，接着对步态序列轮廓区域作特征表征，对比步态数据库，作最终的步态识别。步态表征就是步态特征提取，这些特征包括结构化特征、非结构化特征和融合特征，目前大致分为三种表征类型：

（1）身体表征：步态识别中主流的身体表征可分为轮廓和骨骼两类。轮廓是现有研究中最常用的身体表征形式，且计算成本低。这种类型的身体表征迫使识别器关注步态而非服装和非步态因素，从而利于步态分类器。骨骼作为身体表征的另一种形式，通过对身体关节的分析，获得身体的静态和动态表征。与轮廓法相比，骨骼法对视角和外观的变化不敏感，因为姿态估计过程侧重于检测身体关节，而关节受遮挡的影响较小。

（2）时间表征：时间表征用于描述受试者的周期性运动信息，模板和序列是两种常见的时间表征形式。模板是将受试者轮廓的整个行走过程聚合在单一图像上，常见的步态模板包括时间模板和卷积模板。时间模板是步态识别中常用的模板形式，主要包括步态能量图(GEI)、时间保持步态图和帧差能量图。序列模板使用非聚合形式来学习步态序列中受试者在行走过程中的差异性。目前常用的学习步态序列中时序关系的策略有两种：一是循环学习策略，它利用循环神经网络计算当前帧与前一帧之间的依赖关系；二是3D矢量策略，该策略基于步态序列创建包含时序信息的3D张量，然后使用基于3D的深度模型学习步态序列中的时序关联。

（3）特征表征：特征表征主要关注人体轮廓的学习区域。现阶段步态研究中普遍认为轮廓区域可以分为全局和局部两类。具体来说，从整体角度提取轮廓特征被称为全局特征学习，这种特征表征对遮挡和外观变化更加敏感。相比之下，局部特征学习需要将步态剪影切片为多个切片，例如垂直/水平条，然后使用神经网络对这些局部切片进行处理，如胶囊网络或注意力网络。通常，通过局部特征学习得到的身体部位的权重对最终的识别结果存在影响，而且学习局部特征之间的关系还可以提高步态方法对方向变化的适应性。

现有步态识别方法大致从全局和局部的角度进行特征学习，全局特征学习侧重于轮廓整体的上下文信息，而忽略了身体各部位的细粒度学习；局部特征学习侧重于身体各部位的不同表示，缺乏对步态轮廓全局内容的表征。面对复杂条件导致的遮挡及视角变换等非步态干扰因素，现有方法的精度和鲁棒性仍然不足。

发明内容

为了解决上述技术问题，本发明提供了一种基于多特征聚合的跨视角步态识别方法、系统及设备。

本发明的方法所采用的技术方案是：一种基于多特征聚合的跨视角步态识别方法，包括以下步骤：